Semalt Review: Web Scraping para diversión y ganancias

Raspado requiere comprender la estructura de los datos que necesita y su accesibilidad. Esto comienza buscando sus datos. Encuentre la URL que devuelve la información que necesita. Examine el sitio web y compruebe cómo cambian las URL a medida que navega por las diferentes secciones.

O bien, busque varios términos en el sitio y compruebe cómo cambian las URL en función de su término de búsqueda. Debería ver un parámetro GET como q = que cambia cada vez que busca un nuevo término. Conserve los parámetros GET necesarios para cargar sus datos y eliminar los demás.

Cómo lidiar con la paginación

La paginación le impide acceder a todos los datos que necesita a la vez. Cuando hace clic en la página 2, se agrega un parámetro offset = a la URL. Este es el número de elementos en una página o el número de página. Incremente este número en cada página de sus datos.

Para sitios que usan AJAX, despliegue la pestaña de red en Firebug o Inspector. Verifique las solicitudes de XHR, identifique y concéntrese en aquellos que extraen sus datos.

Obtener datos del marcado de la página

Esto se logra utilizando los enlaces CSS. Haga clic derecho en una sección particular de sus datos. Tire del Firebug o del Inspector y haga un zoom en el árbol DOM para obtener lo máximo que envuelve un solo elemento. Una vez que tenga el nodo correcto desde el árbol DOM, vea el origen de la página para asegurarse de que sus elementos estén accesibles en HTML sin procesar.

Para raspar correctamente el sitio, necesita una biblioteca de análisis HTML que lea en HTML y lo convierta en un objeto que puede iterar hasta que obtenga lo que necesita. Si su biblioteca HTTP requiere que configure algunas cookies o encabezados, explore el sitio en su navegador web y obtenga los encabezados enviados por su navegador. Póngalos en un diccionario y envíe su solicitud.

Cuando necesita un inicio de sesión para raspar

Si debe crear una cuenta e iniciar sesión para obtener los datos que desea, debe tener una buena biblioteca HTTP para manejar los inicios de sesión. El inicio de sesión de Scraper lo expone a sitios de terceros.

Si el límite de velocidad de su servicio web depende de la dirección IP, configure un código que acceda al servicio web a un Javascript del lado del cliente. A continuación, envíe los resultados a su servidor desde cada cliente. Los resultados parecerán originarios de tantos lugares, y ninguno excederá su límite de velocidad.

Marcado pobremente formado

Algunas marcas pueden ser difíciles de validar. En tales casos, profundice en su analizador de HTML para la configuración de tolerancia de error. Alternativamente, trate el documento HTML completo como una cadena larga y realice la división de cadenas.

Aunque puede rastrear todo tipo de datos en la red, algunos sitios emplean software para detener el raspado, y otros prohíben desecho web. Dichos sitios pueden demandarlo e incluso encarcelarlo por la recolección de sus datos. Por lo tanto, sea inteligente en todo su raspado web y hágalo de forma segura.