Semalt Expert fournit un guide pour gratter le Web avec Javascript
Le grattage du Web peut être une excellente source de données critiques utilisées dans la prise de décision. processus de fabrication dans toute entreprise. Par conséquent, il est au cœur de l'analyse des données car c'est le seul moyen sûr de recueillir des données fiables. Mais, étant donné que la quantité de contenu en ligne disponible pour être mis au rebut est toujours à la hausse, il peut devenir presque impossible d'éliminer chaque page manuellement. Cela appelle à l'automatisation.
Bien qu'il existe de nombreux outils sur mesure pour différents projets de raclage automatisés, la majorité d'entre eux sont de qualité supérieure et vous coûteront une fortune. C'est ici qu'intervient Puppeteer + Chrome + Node.JS. Ce tutoriel vous guidera tout au long du processus pour vous permettre de gratter les sites facilement.
Comment fonctionne l'installation?
Il est important de noter qu'un peu de connaissances sur JavaScript sera utile dans ce projet. Pour les débutants, vous devrez obtenir les 3 programmes ci-dessus séparément. Puppeteer est une bibliothèque de nœuds qui peut être utilisée pour contrôler Chrome sans tête. Chrome sans tête se réfère au processus d'exécution de chrome sans son interface graphique, ou en d'autres termes sans courir de chrome. Vous devrez installer Node 8+ depuis son site officiel.
Après avoir installé les programmes, il est temps de créer un nouveau projet afin de commencer à concevoir le code. Dans le meilleur des cas, c'est le grattage JavaScript en ce que vous utiliserez le code pour automatiser le processus de grattage. Pour plus d'informations sur Puppeteer se référer à sa documentation, il existe des centaines d'exemples disponibles pour vous de jouer avec.
Comment automatiser le scraping JavaScript
Lors de la création d'un nouveau projet, créez un fichier (.js). Dans la première ligne, vous devrez appeler la dépendance de Puppeteer que vous avez installée plus tôt. Ceci est ensuite suivi d'une fonction primaire "getPic" qui contiendra tout le code d'automatisation. La troisième ligne appellera la fonction "getPic" afin de l'exécuter. Considérant que la fonction getPic
Est une fonction "async", nous pouvons alors utiliser l'expression await qui mettra la fonction en pause en attendant que la "promesse" soit résolue avant de passer à la ligne de code suivante. Cela fonctionnera comme la fonction d'automatisation principale.
Comment appeler le chrome sans tête
La ligne de code suivante: "const browser = await puppeteer. Launch;" lancera automatiquement marionnettiste et exécutera une instance de chrome le définissant à notre variable "navigateur" nouvellement créé. Continuez à créer une page qui sera ensuite utilisée pour naviguer vers l'URL que vous souhaitez supprimer.
Comment scrapper des données
API Puppeteer vous permet de jouer avec différentes entrées de site Web telles que le pointage, le remplissage de formulaire ainsi que la lecture des données. Vous pouvez vous y référer pour voir de près comment automatiser ces processus. La fonction "scrape" sera utilisée pour entrer notre code de grattage. Passez à exécuter la fonction de scrape.js de noeud pour lancer le processus de raclage. L'installation entière devrait alors commencer automatiquement à sortir le contenu requis. Il est important de ne pas oublier de passer en revue votre code et de vérifier que tout fonctionne conformément à la conception afin d'éviter de tomber dans des erreurs en cours de route.
Post a comment