Semalt Expert biedt een gids voor het schrapen van het web met Javascript
Webschrapen kan een uitstekende bron van kritieke gegevens zijn die wordt gebruikt bij de besluitvorming. maak proces in elk bedrijf. Daarom is het de kern van data-analyse, omdat het de enige manier is om betrouwbare gegevens te verzamelen. Maar omdat de hoeveelheid online inhoud die kan worden gescand altijd in de lift zit, kan het bijna onmogelijk worden om elke pagina handmatig te verwijderen. Dit vraagt om automatisering.
Hoewel er veel tools zijn die op maat zijn gemaakt voor verschillende geautomatiseerde scrapingprojecten, zijn de meeste daarvan premium en kosten u een fortuin. Dit is waar Puppeteer + Chrome + Node.JS binnenkomt. Deze tutorial begeleidt u door het proces en zorgt ervoor dat u websites gemakkelijk met gemak kunt schrapen.
Hoe werkt de setup?
Het is belangrijk om op te merken dat het hebben van een beetje kennis over JavaScript van pas zal komen in dit project. Om te beginnen zul je de bovenstaande 3 programma's afzonderlijk moeten krijgen. Puppeteer is een knooppuntbibliotheek die kan worden gebruikt om Chrome zonder kop te bedienen. Headless Chrome verwijst naar het proces van het uitvoeren van Chrome zonder de GUI, of met andere woorden zonder Chrome te gebruiken. U moet Node 8+ van de officiële website installeren.
Na de installatie van de programma's is het tijd om een nieuw project te maken om te beginnen met het ontwerpen van de code. In het ideale geval is het JavaScript schrapen dat u de code gebruikt om het scrapingproces te automatiseren. Voor meer informatie over Puppeteer verwijzen we naar zijn documentatie, er zijn honderden voorbeelden beschikbaar om mee te spelen.
Hoe JavaScript-scraping te automatiseren
Over het maken van een nieuw project, ga je door met het maken van een bestand (.js). In de eerste regel moet je de Puppeteer-afhankelijkheid oproepen die je eerder had geïnstalleerd. Dit wordt gevolgd door een primaire functie "getPic ()" die alle automatiseringscode bevat. De derde regel roept de functie "getPic ()" in om deze uit te voeren. Gezien het feit dat de functie getPic () een "async" functie is, kunnen we dan de await-uitdrukking gebruiken die de functie pauzeert terwijl hij wacht op de "belofte" om op te lossen voordat hij doorgaat naar de volgende regel code. Dit zal functioneren als de primaire automatiseringsfunctie.
Hoe u Chrome zonder kop oproept
De volgende regel code: "const browser = wacht op poppenspeler.Launch ();" zal automatisch poppenspeler starten en een chrome instantie uitvoeren die deze instelt op onze nieuw gemaakte "browser" variabele. Ga verder met het maken van een pagina die vervolgens wordt gebruikt om naar de URL te gaan die u wilt verwijderen.
Hoe gegevens te schrapen
Met Puppeteer API kun je spelen met verschillende website-ingangen zoals klok, formulieren invullen en gegevens lezen. U kunt ernaar verwijzen om een goed beeld te krijgen van hoe u die processen kunt automatiseren. De "scrape ()" functie zal worden gebruikt om onze scrapingcode in te voeren. Ga verder met het uitvoeren van de knooppunt scrape.js-functie om het scrapingproces te starten. De hele set-up zou dan automatisch moeten beginnen met het uitvoeren van de vereiste inhoud. Het is belangrijk om te onthouden dat je je code moet doorlopen en moet controleren of alles werkt volgens het ontwerp om te voorkomen dat je onderweg tegen fouten aanloopt.
Post a comment