Schrapen van websites met Python en BeautifulSoup - advies van Semalt
Er is meer dan genoeg informatie op het internet over het schrapen van websites en blogt zoals het hoort. Wat we nodig hebben, is niet alleen de toegang tot die gegevens, maar ook de schaalbare manieren om het te verzamelen, te analyseren en te organiseren. Python en BeautifulSoup zijn twee geweldige tools om websites te schrapen en gegevens te extraheren. Bij webscraping kunnen gegevens eenvoudig worden geëxtraheerd en gepresenteerd in een formaat dat u nodig hebt. Als u een fervent belegger bent die zijn / haar tijd en geld waardeert, dan moet u absoluut het webschrapend proces versnellen en het zo optimaal mogelijk maken.
Aan de slag
We gaan zowel Python als BeautifulSoup gebruiken als de belangrijkste schrapen taal.
- 1. Voor Mac-gebruikers is Python vooraf geïnstalleerd in OS X. Ze hoeven alleen Terminal te openen en in python -versie te typen. Op deze manier kunnen ze de Python 2.7-versie zien.
- 2. Voor Windows-gebruikers raden we aan om Python via zijn officiële site te installeren.
- 3. Vervolgens moet u met behulp van pip toegang krijgen tot de BeautifulSoup-bibliotheek. Deze pakketbeheertool is speciaal gemaakt voor Python.
In de terminal moet u de volgende code invoegen:
easy_install pip
pip-installatie BeautifulSoup4
Regels voor het schrapen:
De belangrijkste regels voor schrapen die u moet regelen zijn:
- 1. Je moet de regels en voorschriften van de site nakijken voordat je begint met het schrapen. Wees dus voorzichtig!
- 2. Je moet de gegevens niet opvragen van de sites te agressief.Zorg ervoor dat de tool die u gebruikt zich redelijk gedraagt, anders kunt u de site doorbreken.
- 3. Eén verzoek per seconde is de juiste praktijk.
- 4. De de lay-out van de blog of site kan op elk moment worden gewijzigd, en u moet die site opnieuw bezoeken en uw eigen code herschrijven wanneer dat nodig is.
De pagina inspecteren
Plaats uw cursor op op de prijspagina om te begrijpen wat er moet gebeuren. Lees de tekst over zowel HTML als Python en uit de resultaten ziet u de prijzen in de HTML-tags.
Deze HTML-tags zijn vaak in de vorm van
→ →.
Exporteren naar Excel CSV
Nadat u de gegevens hebt geëxtraheerd, is de volgende stap om sla het offline op. De Excel Comma Separated Format is de beste c wat dat betreft, en je kunt het gemakkelijk openen in je Excel-sheet. Maar eerst moet u de Python CSV-modules en de datum-tijdmodules importeren om uw gegevens correct op te slaan. De volgende code kan in de importsectie worden ingevoegd:
import csv
van datetime-import naar datetime
Geavanceerde schraaptechnieken
BeautifulSoup is een van de eenvoudigste en meest uitgebreide hulpmiddelen voor webschrapen. Als u echter grote hoeveelheden gegevens moet verzamelen, overweeg dan enkele andere alternatieven:
- 1. Scrapy is een krachtig en verbazingwekkend kader voor het schrapen van python.
- 2. U kunt de code ook integreren met een openbare API. De efficiëntie van uw gegevens zal belangrijk zijn. U kunt bijvoorbeeld de Facebook Graph API proberen, die helpt de gegevens te verbergen en deze niet op de Facebook-pagina's weergeeft.
- 3. Daarnaast kunt u de backend-programma's zoals MySQL gebruiken en de gegevens met grote nauwkeurigheid in grote hoeveelheden opslaan.
- 4. DRY staat voor "Do not Repeat Yourself" en u kunt proberen de reguliere taken met deze techniek te automatiseren
Post a comment
