Semalt: estrazione di URL da pagine Web con una bella zuppa

Beautiful Soup è un pacchetto Python di alto livello utilizzato per l'analisi di documenti XML e HTML. La bella libreria Python Soup crea un albero di analisi che viene utilizzato per estrarre informazioni utili da HyperText Markup Language (HTML). Questa libreria è disponibile per entrambe le versioni Python 2 e Python 3.

Nella maggior parte dei casi, si scopre che è possibile accedere ai propri dati di destinazione e utilizzarli come parte di una pagina Web. In tal caso, è necessario utilizzare tale tecnica di scraping web che può estrarre dati nei formati che possono essere analizzati. È qui che entra in gioco la libreria Beautiful Soup.

Requisiti

Per utilizzare la libreria Beautiful Soup sono necessari i moduli giusti. Per iniziare, è necessario installare il linguaggio di programmazione Python 2.7 sulla macchina. In questo post, imparerai come raschiare un sito web ed estrarre tutti gli URL usando Requests e Beautiful Soup 4. L'analisi HTML è un'attività fai-da-te, specialmente con l'aiuto tecnico di Beautiful Soup.

Perché usare la bella zuppa?

Beautiful Soup è un pacchetto Python di alto livello che è stato utilizzato per analizzare i siti Web e analizzare tag HTML dal 2004. Recentemente, Beautiful Soup 4 ha sostituito Beautiful Soup 3 nel settore. Nota che BS4 funziona su entrambe le versioni Python mentre BS3 funziona solo su Python 2.7. La libreria comprende le seguenti funzioni integrate:

• Capacità di codifica - Non devi preoccuparti delle codifiche dopo aver installato i meravigliosi moduli Soup necessari sulla tua macchina. La libreria è automatizzata per convertire gli input in Unicode e gli output in UTF-8.
• Capacità di navigazione: Beautiful Soup offre metodi facili da usare per cercare, navigare e modificare un albero di analisi.

Come usare la libreria Beautiful Soup?

Dopo aver installato Beautiful Soup sulla tua macchina, puoi iniziare ad usare la libreria. Per iniziare, importa la libreria bs4 all'inizio del codice Python. Passa il contenuto o l'URL a Beautiful Soup per creare un oggetto Soup. Tuttavia, la libreria non recupera la pagina Web di destinazione su se stessa. Qui, devi completare quell'attività manualmente. Puoi anche facilmente recuperare le pagine Web preferite usando una combinazione di Python e Beautiful Soup.

Ruoli della libreria delle richieste

Per raschiare una pagina, è necessario prima scaricarla. È possibile scaricare pagine Web utilizzando la libreria delle richieste. Richiede che la libreria lavori effettuando una richiesta "GET" ai server Web, che a sua volta scaricherà i contenuti HTML della pagina Web preferita.

Estrazione di URL da pagine Web

Ora si dispone di informazioni dettagliate sulla biblioteca di Beautiful Soup. Una combinazione di libreria BS4 e Python ti aiuterà a recuperare una pagina web molto rapidamente. Per estrarre tutti gli URL dalla tua pagina web di destinazione, usa il metodo "trova tutto". Questo metodo ti fornirà una raccolta di elementi con il tag. Da bs4, importa sia la bella zuppa che le richieste. Esegui il tuo codice e inserisci un sito Web o una pagina Web per estrarre gli URL da.