Semalt: Come usare Python per raschiare un sito web?

Il miglior punto di partenza è scaricare e installare Anaconda Python Distribution sulla tua macchina informatica. Puoi anche prendere alcuni tutorial sulle basi di questo linguaggio di programmazione. Il posto migliore per partire potrebbe essere la Codecademy, specialmente se non hai idea in questo campo.

Questa guida si avvarrà del sito di quotazione corrente di Polk Country per detenuti. Ti guideremo su come utilizzare uno script Python per estrarre un elenco di detenuti e ottenere dati come la città di residenza e la razza per ogni detenuto. L'intera sceneggiatura che ti porteremo attraverso è archiviata e aperta a GitHub. Questa è una delle popolari piattaforme online che consentono la condivisione di codici di computer. I codici hanno una lunga lista di commenti che possono esserti di grande aiuto.

Quando si raschia qualsiasi sito, il primo strumento da cercare è un browser web. La maggior parte dei browser fornirà agli utenti strumenti di ispezione in HTML che aiutano a sollevare il portellone del motore e a comprendere la struttura della pagina. Il modo in cui accedi a ogni strumento varia da un browser all'altro. Tuttavia, il punto di forza è il "view page source" e puoi ottenerlo facendo clic con il tasto destro sulla pagina direttamente.

Mentre si visualizza il codice sorgente HTML della pagina, è consigliabile elencare in modo ordinato i dettagli dei collegamenti al detenuto nelle righe della tabella. Il prossimo passo è scrivere uno script che useremo per estrarre queste informazioni. I due pacchetti Python che useremo nel processo di sollevamento pesante sono Beautiful Soup and Requests. Assicurati di installarli prima di iniziare a eseguire il codice.

Lo script web scraping farà tre cose. Questi includono il caricamento delle pagine degli elenchi e l'estrazione dei collegamenti alle pagine dei dettagli, il caricamento di ciascuna pagina dei dettagli e l'estrazione dei dati, e la stampa dei dati estratti a seconda di come viene filtrata come la città di residenza e la razza. Una volta compreso questo, il passo successivo è iniziare il processo di codifica usando la bella zuppa e le richieste.

In primo luogo, caricare logicamente la pagina di elenco dei detenuti utilizzando l'URL request.get e quindi utilizzare la bella zuppa per riporla. Successivamente, estraiamo il collegamento alle pagine dei dettagli eseguendo il ciclo di ciascuna riga. Dopo aver analizzato i dettagli del detenuto, il passo successivo consiste nell'estrarre il sesso, l'età, la razza, il tempo di prenotazione e i valori dei nomi nel dizionario. Ogni detenuto riceverà il suo dizionario e tutti i dizionari verranno aggiunti all'elenco dei detenuti. Infine, controlla i valori della gara e della città prima di stampare finalmente la tua lista.