Semalt Expert ofrece una guía para raspar la Web con Javascript
El raspado web puede ser una fuente excelente de datos críticos que se utilizan en la decisión. proceso de fabricación en cualquier negocio. Por lo tanto, está en el núcleo del análisis de datos, ya que es la única forma segura de recopilar datos confiables. Pero, debido a que la cantidad de contenido en línea disponible para ser descartada siempre está en aumento, puede ser casi imposible eliminar cada página manualmente. Esto requiere automatización.
Si bien existen muchas herramientas diseñadas para diferentes proyectos de raspado automático, la mayoría de ellas son premium y le costarán una fortuna. Aquí es donde entra Puppeteer + Chrome + Node.JS. Este tutorial lo guiará a lo largo del proceso y le asegurará que puede rastrear sitios web con facilidad automáticamente.
¿Cómo funciona la configuración?
Es importante tener en cuenta que tener un poco de conocimiento sobre JavaScript será útil en este proyecto. Para empezar, tendrás que obtener los 3 programas anteriores por separado. Puppeteer es una biblioteca de nodos que se puede usar para controlar Chrome sin cabeza. Headless Chrome se refiere al proceso de ejecutar Chrome sin su GUI, o en otras palabras, sin ejecutar Chrome. Deberá instalar el Nodo 8+ desde su sitio web oficial.
Después de haber instalado los programas, es hora de crear un nuevo proyecto para comenzar a diseñar el código. Idealmente, es un raspado de JavaScript porque usará el código para automatizar el proceso de raspado. Para obtener más información sobre Puppeteer consulte su documentación, hay cientos de ejemplos disponibles para que juegue con ellos.
Cómo automatizar el raspado de JavaScript
Al crear un nuevo proyecto, proceda a crear un archivo (.js). En la primera línea, tendrá que activar la dependencia de Titiritero que había instalado anteriormente. Esto es seguido por una función primaria "getPic ()" que mantendrá todo el código de automatización. La tercera línea invocará la función "getPic ()" para ejecutarla. Teniendo en cuenta que la función getPic () es una función "asíncrona", podemos usar la expresión de espera que pausará la función mientras espera que se resuelva la "promesa" antes de pasar a la siguiente línea de código. Esto funcionará como la función de automatización primaria.
Cómo llamar a Chrome sin cabeza
La siguiente línea de código: "const browser = await puppeteer.Launch ();" lanzará automáticamente puppeteer y ejecutará una instancia de Chrome estableciéndolo en nuestra variable de "navegador" recién creada. Proceda a crear una página que luego se utilizará para navegar a la URL que desea eliminar.
Cómo eliminar datos
Puppeteer API te permite jugar con diferentes entradas de sitios web, como marcar, rellenar formularios y leer datos. Puede consultarlo para ver de cerca cómo puede automatizar esos procesos. La función "raspar ()" se usará para ingresar nuestro código de raspado. Proceda a ejecutar la función node scrape.js para iniciar el proceso de raspado. Toda la configuración debería comenzar automáticamente a generar el contenido requerido. Es importante recordar revisar su código y verificar que todo esté funcionando de acuerdo con el diseño para evitar errores en el camino.
Post a comment
