Esperto di Semalt: Python e BeautifulSoup. Raschiare i siti con facilità
Quando si eseguono analisi di dati o progetti di apprendimento automatico, potrebbe essere necessario raschiare i siti Web per ottenere i dati necessari e completa il tuo progetto. Il linguaggio di programmazione Python ha una potente collezione di strumenti e moduli che possono essere utilizzati a questo scopo. Ad esempio, puoi utilizzare il modulo BeautifulSoup per l'analisi HTML.
Qui, daremo uno sguardo a BeautifulSoup e scopriremo perché ora è così ampiamente usato in web scraping.
Funzioni di BeautifulSoup
- Fornisce vari metodi per una facile navigazione, ricerca e modifica di alberi di analisi che consentono di suddividere facilmente un documento ed estrarre tutto ciò che è necessario senza scrivere troppo codice.
- converte automaticamente i documenti in uscita in UTF-8 e i documenti in arrivo in Unicode. Ciò significa che non dovrai preoccuparti delle codifiche a condizione che il documento abbia specificato una codifica o che Beautiful Soup possa autodeterminarlo.
- BeautifulSoup è considerato superiore ad altri popolari parser Python come html5lib e lxml. Permette di provare diverse strategie di analisi. Uno svantaggio di questo modulo, tuttavia, è che offre una maggiore flessibilità a scapito della velocità.
Che cosa è necessario per raschiare il sito Web con BeautifulSoup?
Per iniziare a lavorare con BeautifulSoup, è necessario configurare l'ambiente di programmazione Python (locale o basato sul server) sul proprio computer. Python è solitamente preinstallato in OS X, ma se usi Windows, devi scaricare e installare la lingua dal sito web ufficiale.
Dovresti avere i moduli BeautifulSoup e Requests installati.
Infine, l'utilizzo familiare e confortevole della codifica e della struttura HTML è sicuramente utile dato che lavorerai con i dati di provenienza del web.
Importazione di richieste e librerie BeautifulSoup
Con Ambiente di programmazione Python ben impostato, ora puoi creare un nuovo file (usando nano, per esempio) con qualsiasi nome tu voglia.
La libreria Richieste ti permette di usare un modulo di lettura umana HTTP all'interno dei tuoi programmi Python mentre BeautifulSoup ottiene lo scraping fatto ad una velocità più veloce.È possibile utilizzare l'istruzione import per ottenere entrambe le librerie.
Come raccogliere e analizzare una pagina Web
Utilizzare il metodo requests.get () per raccogliere l'URL della pagina Web da cui si desidera estrarre i dati. Successivamente, crea un oggetto BeautifulSoup o un albero di analisi. Questo oggetto prende il documento da Requests come suoi argomenti e poi lo analizza. Con la pagina raccolta, analizzata e configurata come oggetto BeautifulSoup, puoi quindi procedere alla raccolta dei dati necessari.
Estrazione del testo desiderato dalla pagina Web analizzata
Ogni volta che si desidera raccogliere dati Web, è necessario sapere in che modo tali dati sono descritti dal DOM (Document Object Model) della pagina Web. Nel browser Web, fare clic con il tasto destro del mouse (se si utilizza Windows) o CTRL + clic (se si utilizza macOS) su uno degli elementi che fanno parte dei dati di interesse. Ad esempio, se desideri estrarre dati sulle nazionalità degli studenti, fai clic su uno dei nomi di uno studente. Viene visualizzato un menu di scelta rapida e all'interno di esso viene visualizzata una voce di menu simile a Inspect Element (per Firefox) o Inspect (per Chrome). Fai clic sulla voce di menu Inspect pertinente e gli strumenti di sviluppo web appariranno nel tuo browser.
BeautifulSoup è uno strumento di analisi HTML semplice ma potente che consente una grande flessibilità quando raschia siti Web. Quando lo si utilizza, non dimenticare di osservare le regole generali di raschiatura, come ad esempio la verifica dei Termini e condizioni del sito Web; rivedere periodicamente il sito e aggiornare il codice in base alle modifiche apportate sul sito. Avendo questa conoscenza sullo scraping di siti Web con Python e BeautifulSoup, ora puoi facilmente ottenere i dati web di cui hai bisogno per il tuo progetto.
Post a comment