Semalt: Hoe de Python te gebruiken om een website te schrapen?
Gegevens spelen een cruciale rol bij onderzoeken, nietwaar? Het kan leiden tot een nieuwe manier om naar dingen te kijken en andere inzichten te ontwikkelen. Het meest ongelukkige is dat de gegevens waarnaar u op zoek bent meestal niet direct beschikbaar zijn. Je kunt het vinden op internet, maar het is misschien niet in een formaat dat kan worden gedownload. In een dergelijk geval kunt u de webschrapingtechniek gebruiken om de gegevens die u nodig hebt te programmeren en te verzamelen.
Er zijn verschillende scraping-benaderingen en programmeertalen die door dit proces kunnen helpen. Dit artikel zal u helpen bij het gebruik van de python-taal om een site te verwijderen. U krijgt veel inzichten over de werking van webpagina's. Je zult ook leren begrijpen hoe ontwikkelaars gegevens structureren op elke website.
Het beste startpunt is om de Anaconda Python Distribution op uw computer te downloaden en te installeren. Je kunt ook een aantal tutorials volgen over de basis van deze programmeertaal. De beste plaats om op pad te gaan, zou de Codecademy kunnen zijn, vooral als je geen idee hebt op dit gebied.
Deze gids maakt gebruik van de huidige lijst van Polk Country-lijsten voor gedetineerden. We zullen je laten zien hoe je een Python-script kunt gebruiken om een lijst met gedetineerden uit te pakken en wat gegevens op te halen, zoals de woonplaats en de race voor elke gevangene..Het hele script dat we doornemen, wordt opgeslagen en geopend op GitHub. Dit is een van de populaire online platforms die het delen van computercodes mogelijk maken. De codes hebben een lange lijst met commentaren die u van grote hulp kunnen zijn.
Bij het schrapen van een site is de eerste tool om naar te zoeken een webbrowser. De meeste browsers zullen gebruikers HTML-inspectiehulpmiddelen geven die helpen bij het opheffen van het RAM-geheugen van de machine en het begrijpen van de paginastructuur. De manier waarop u elke tool opent, varieert van de ene browser naar de andere. De steunpilaar is echter de bron 'weergavepagina' en u kunt deze krijgen door rechtstreeks met de rechtermuisknop op de pagina te klikken.
Als u de HTML-bron van de pagina bekijkt, is het raadzaam om de details van de links naar de gevangene in tabelrijen netjes op te sommen. De volgende stap is het schrijven van een script dat we gaan gebruiken om deze informatie te extraheren. De twee Python-pakketten die we gaan gebruiken in het zware tilproces zijn de Beautiful Soup and Requests. Zorg ervoor dat u ze installeert voordat u de code start.
Het webscraping-script zal drie dingen doen. Deze omvatten het laden van de lijstpagina's en het extraheren van links naar de detailpagina's, het laden van elke detailpagina en het extraheren van gegevens, en het afdrukken van de geëxtraheerde gegevens afhankelijk van hoe het wordt gefilterd zoals de stad van woonplaats en ras. Zodra u dit begrijpt, is de volgende stap om het coderingsproces te starten met behulp van de Beautiful Soup and Requests.
Allereerst laadt u logisch de pagina met de gedetineerde lijst met de requests.get-URL en gebruikt u vervolgens de mooie soep om deze te verpakken. Hierna extraheren we de link naar de detailpagina's door elke rij door te lussen. Na het ontleden van de gedetineerdengegevens, is de volgende stap om de geslacht, leeftijd, ras, boekingstijd en naamwaarden uit het woordenboek te halen. Elke gevangene krijgt zijn woordenboek en alle woordenboeken worden toegevoegd aan de lijst van de gevangene. Tenslotte, loop over de race- en stadswaarden voordat u eindelijk uw lijst afdrukt.
Post a comment
