Semalt stelt 5 stappen voor om webpagina's te schrapen

Het is een eenvoudige tutorial over het schrijven van webcrawler met Scrapy, ontleed Craigslist en winkel informatie in CSV-formaat. De vijf hoofdstappen van deze tutorial worden hieronder genoemd:

1. Maak een nieuw Scrapy-project

2. Schrijf een spin om een website te crawlen en gegevens te extraheren

3. Exporteer de geschraapte gegevens met behulp van de opdrachtregel

4. Wijzig spin om links te volgen

5. Gebruik spiderargumenten

1. Maak een project

eerste stap is het maken van een project. Je zou Scrapy moeten downloaden en installeren. In de zoekbalk moet u de mapnaam invoeren waar u de gegevens wilt opslaan. Scrapy gebruikt verschillende spiders om informatie te extraheren en deze spiders maken initiële verzoeken om mappen te maken. Om een spin aan het werk te zetten, moet je de lijst met mappen bezoeken en daar een specifieke code invoegen. Houd de bestanden in je huidige map in de gaten en merk twee nieuwe bestanden op: quotes-a.html en quotes-b.html.

2. Schrijf een spin om een website te crawlen en gegevens te extraheren:

De beste manier om een spin te schrijven en gegevens te extraheren, is door verschillende selectors te maken in de shell van Scrapy. U moet de URL's altijd tussen aanhalingstekens plaatsen; anders zal Scrapy de aard of namen van die URL's onmiddellijk wijzigen. Gebruik dubbele aanhalingstekens rond een URL om een spider naar behoren te schrijven. U moet use.extract_first () gebruiken en een indexfout voorkomen.

3. Exporteer de geschraapte gegevens met behulp van de opdrachtregel:

Het is belangrijk om de geschraapte gegevens te exporteren met behulp van de opdrachtregel. Als u het niet exporteert, krijgt u geen nauwkeurige resultaten. De spider genereert verschillende mappen met nuttige informatie. Gebruik de opbrengst-Python-sleutelwoorden om deze informatie op een betere manier te exporteren. Gegevens importeren naar JSON-bestanden is mogelijk. De JSON-bestanden zijn handig voor programmeurs. Tools zoals JQ helpen bij het exporteren van geschraapte gegevens zonder enig probleem.

4. Spider wijzigen om links te volgen:

In kleine projecten kunt u spiders wijzigen om de links op de juiste manier te volgen. Maar het is niet nodig met grote data scraping projecten. Er wordt een tijdelijke aanduidingbestand voor itempijplijnen ingesteld wanneer u van spin verandert. Dit bestand bevindt zich in de sectie tutorial/pipelines.py. Met Scrapy kun je geavanceerde spiders bouwen en hun locatie op elk gewenst moment wijzigen. U kunt meerdere sites tegelijk extraheren en verschillende projecten voor het onttrekken van gegevens uitvoeren.

5. Gebruik spider-argumenten:

De parse_author callback is een spider-argument dat kan worden gebruikt om gegevens van dynamische websites te extraheren. Je kunt ook commandoregelargumenten aan de spiders geven met een specifieke code. De spider-argumenten worden in een mum van tijd spinkenmerken en veranderen het algehele uiterlijk van uw gegevens.

In deze zelfstudie hebben we alleen de basisprincipes van Scrapy behandeld. Er zijn veel functies en opties voor deze tool. U hoeft Scrapy alleen maar te downloaden en te activeren om meer te weten te komen over de specificaties.