Semalt - Hoe webpagina's schrapen?

Van start gaan

Stel om te beginnen een server of lokale Python-codeeromgeving op uw pc in. Je moet ook de module Mooie Soep en Verzoeken installeren op je computer. Kennis van het werken met beide modules is ook een noodzakelijke voorwaarde. Bekendheid met HTML-tagging en structuur is ook een bijkomend voordeel.

Inzicht in uw gegevens

In deze context zullen echte gegevens van de National Gallery of Art worden gebruikt om u te helpen begrijpen hoe u Beautiful Soup 4 moet gebruiken. National Gallery of Art bestaat uit 120.000 stukken die worden gedaan door een geschatte van 13.000 artiesten. The Art is gevestigd in Washington D.C, Verenigde Staten.

De extractie van webgegevens met Beautiful Soup is niet zo ingewikkeld. Als u zich bijvoorbeeld concentreert op letter Z, markeert en noteert u de eerste naam in de lijst. In dit geval is de voornaam Zabaglia, Niccola. Voor consistentie geeft u het aantal pagina's en de naam van de laatste artiest op die pagina aan.

Hoe aanvragen en mooie soepbibliotheek te importeren

Om bibliotheken te importeren, activeer je de programmeeromgeving van Python 3. Controleer of je in dezelfde directory bent met je programmeeromgeving Voer de volgende opdracht uit om aan de slag te gaan: mijn_env / bin / activeren.

Maak een nieuw bestand en begin met het importeren van bibliotheken met Beautiful Soup en Requests.Bibliotheek met verzoeken stelt u in staat om HTTP in uw Python-programma's te gebruiken in leesbare formaten.Super Soep, aan de andere kant, werkt om pagina's snel te schrapen. bs4 om Beautiful Soup te importeren.

Hoe een webpagina te verzamelen en te analyseren

Verzoeken gebruiken om URL van uw eerste pagina te verzamelen URL van de eerste pagina zal aan de variabele pagina worden toegewezen. BeautifulSoup-object uit Verzoeken en ontleed het object uit de parser van Python.

In deze zelfstudie is het de bedoeling om links en de namen van de artiesten te verzamelen, bijvoorbeeld om datums en nationaliteiten van artiesten te verzamelen. klik met de rechtermuisknop op de voornaam van de kunstenaar. Gebruik in dit geval Zabaglia, Niccola. Voor Mac OS-gebruikers, tik op "CTRL" en klik op de naam. Klik op het menu "Inspect Element" dat pop-ups op uw scherm weergeeft om toegang te krijgen tot de tools van webontwikkelaars. Druk de namen van de artiest af om Beautiful Soup snel een boom te laten analyseren.

Verwijderen van de onderste koppelingen

Om de onderste koppelingen op uw webpagina te verwijderen, inspecteert u de DOM door met de rechtermuisknop op het element te klikken. U zult vaststellen dat de links onder een HTML-tabel vallen. Gebruik Beautiful Soup, gebruik de "ontbindmethode" om tags uit de ontleedboom te verwijderen.

Inhoud ophalen van een tag

U hoeft niet de hele linktag af te drukken, gebruik Beautiful Soup om materiaal uit een tag te verwijderen. Je kunt ook URL's van de artiesten vastleggen door Beautiful Soup 4 te gebruiken.

Gecorrigeerde gegevens opslaan in een CSV-bestand

CSV-bestand stelt je in staat om gestructureerde gegevens op te slaan in een platte tekst, een indeling die meestal wordt gebruikt voor datasheets. Kennis over het omgaan met tekstbestanden in Python wordt aanbevolen.

De extractie van webgegevens wordt gebruikt om pagina's te schrapen en informatie te verkrijgen. Wees bewust van de websites waar u extractie-informatie vandaan haalt. Sommige dynamische websites beperken de extractie van webgegevens op hun sites. Schrapen met Beautiful Soup en Python 3 is zo eenvoudig.