Semalt: 3 pasos para raspar la página web de PHP

Web raspado, también llamado extracción de datos web o web cosecha, es el proceso de extracción de datos de un sitio web o blog. Esta información se usa para establecer metaetiquetas, metadescripciones, palabras clave y enlaces a un sitio, mejorando su rendimiento general en los resultados del motor de búsqueda.

Se utilizan dos técnicas principales para raspar datos:

•  Análisis de documentos : implica un documento XML o HTML que se convierte en archivos DOM (Document Object Model). PHP nos proporciona una gran extensión DOM.
•  Expresiones regulares  - Es una forma de recopilar datos de los documentos web en forma de expresiones regulares.

El problema con los datos raspados del sitio web de un tercero está relacionado con su derecho de autor porque no tiene permiso para utilizar estos datos. Pero con PHP, puede raspar datos fácilmente sin problemas relacionados con derechos de autor o baja calidad. Como programador PHP, puede necesitar datos de diferentes sitios web para fines de codificación. Aquí explicamos cómo obtener datos de otros sitios de manera eficiente, pero antes debe tener en cuenta que al final obtendrá archivos index.php o scrape.js.

Pasos 1: Crear formulario para ingresar a la URL del sitio web:

En primer lugar, debe crear un formulario en index.php haciendo clic en el botón Enviar e ingrese la URL del sitio web para raspar los datos.

Pasos 2: Crear una función PHP para obtener datos del sitio web:

El segundo paso es crear raspaduras de función PHP en el archivo scrape.php, ya que ayudará a obtener datos y usar la biblioteca de URL. También le permitirá conectarse y comunicarse con diferentes servidores y protocolos sin ningún problema..

función scrapeSiteData ($ website_url) {

if (! Function_exists ('curl_init')) {

morir ('cURL no está instalado. Por favor, instala e inténtalo de nuevo.');

}

$ curl = curl_init ;

curl_setopt ($ curl, CURLOPT_URL, $ sitio_web);

curl_setopt ($ curl, CURLOPT_RETURNTRANSFER, verdadero);

$ salida = curl_exec ($ curl);

curl_close ($ curl);

retorno $ salida;

}

Aquí, podemos ver si el PHP cURL se ha instalado correctamente o no. Deben utilizarse tres cURL principales en el área de funciones y curl_init  ayudará a inicializar las sesiones, curl_exec  lo ejecutará y curl_close  ayudará a cerrar la conexión. Las variables como CURLOPT_URL se utilizan para establecer las URL del sitio web que necesitamos eliminar. El segundo CURLOPT_RETURNTRANSFER ayudará a almacenar las páginas recortadas en forma de variable en lugar de su forma predeterminada, que finalmente mostrará toda la página web.

Pasos 3: Datos específicos del raspado del sitio web:

Es hora de manejar las funcionalidades de su archivo PHP y raspar la sección específica de su página web. Si no desea todos los datos de una URL específica, debe editar usando las variables CURLOPT_RETURNTRANSFER y resaltar las secciones que desea raspar.

if (isset ($ _ POST ['submit'])) {

$ html = scrapeWebsiteData ($ _ POST ['website_url']);

$ start_point = strpos ($ html, 'Últimas publicaciones');

$ end_point = strpos ($ html, '', $ start_point);

$ length = $ end_point- $ start_point;

$ html = substr ($ html, $ start_point, $ length);

echo $ html;

}

Le sugerimos que desarrolle los conocimientos básicos de PHP y las expresiones regulares antes de utilizar cualquiera de estos códigos o raspar un blog o sitio web en particular para fines personales.