Scraping di siti Web con Python e BeautifulSoup - Semalt Advice
Ci sono più che sufficienti informazioni su internet su come raschiare correttamente siti Web e blog. Ciò di cui abbiamo bisogno non è solo l'accesso a quei dati, ma i modi scalabili per raccoglierli, analizzarli e organizzarli. Python e BeautifulSoup sono due meravigliosi strumenti per analizzare i siti Web e estrarre i dati. Nel web scraping, i dati possono essere facilmente estratti e presentati in un formato che ti serve. Se sei un avido investitore che valuta il suo tempo e denaro, devi assolutamente accelerare il processo di scraping web e renderlo ottimizzato come potrebbe essere.
Getting Started
Utilizzeremo sia Python che BeautifulSoup come lingua principale di scraping.
1. Per gli utenti Mac, Python è preinstallato nell'OS X. Devono solo aprire Terminal e digitare python -version. In questo modo, saranno in grado di vedere la versione di Python 2.7.2. Per gli utenti Windows, si consiglia di installare Python tramite il suo sito ufficiale.
3. Successivamente, è necessario accedere alla libreria BeautifulSoup con l'aiuto di pip. Questo strumento di gestione dei pacchetti è stato creato appositamente per Python.
Nel terminale, è necessario inserire il seguente codice:
easy_install pip
pip installa BeautifulSoup4
Regole di raschiatura:
Le principali regole di raschiatura di cui dovresti aver cura sono:
1. Devi controllare le Regole e i regolamenti del sito prima di iniziare con il suo raschiamento. Quindi stai molto attento!2. Non si dovrebbero richiedere i dati dai siti in modo troppo aggressivo. Assicurati che lo strumento che usi si comporta in modo ragionevole. Altrimenti, puoi rompere il sito.
3. Una richiesta al secondo è la prassi giusta.
4. Il layout del blog o del sito può essere modificato in qualsiasi momento e potrebbe essere necessario rivisitare quel sito e riscrivere il proprio codice ogni volta che è necessario.
Ispeziona la Pagina
Passa il cursore sulla pagina Prezzo per capire cosa dovrebbe essere fatto. Leggi il testo relativo a HTML e Python, e dai risultati, vedrai i prezzi all'interno dei tag HTML.
Questi tag HTML spesso si presentano sotto forma di
→ →.
Esporta in Excel CSV
Una volta estratti i dati, il passo successivo è di salvarli offline. Excel Comma Separated Format è la scelta migliore in questo senso e puoi facilmente aprirlo nel tuo foglio Excel. Ma prima, dovresti importare i moduli CSV Python e i moduli data-ora per registrare correttamente i tuoi dati. Il seguente codice può essere inserito nella sezione di importazione:
import csv
dall'importazione datetime a datetime
Advanced Scraping Techniques
BeautifulSoup è uno degli strumenti più semplici e completi per il web scraping. Tuttavia, se è necessario raccogliere grandi volumi di dati, prendere in considerazione alcune altre alternative:
1. Scrapy è un potente e sorprendente framework di scraping di pitone.2. È inoltre possibile integrare il codice con un'API pubblica. L'efficienza dei tuoi dati sarà importante. Ad esempio, puoi provare Facebook Graph API, che aiuta a nascondere i dati e non li mostra sulle pagine di Facebook.
3. Inoltre, è possibile utilizzare i programmi di backend come MySQL e memorizzare i dati in grande quantità con grande precisione.
4. DRY sta per "Do not Repeat Yourself" e puoi provare ad automatizzare le normali attività usando questa tecnica.
Post a comment