Semalt: 3 passaggi per raschiare la pagina Web di PHP

Il raschiamento del web, detto anche estrazione dei dati web o raccolta del nastro, è il processo di estrazione di dati da un sito Web o blog. Queste informazioni vengono quindi utilizzate per impostare metatag, meta descrizioni, parole chiave e collegamenti a un sito, migliorando le prestazioni generali nei risultati dei motori di ricerca.

Due tecniche principali sono utilizzate per raschiare i dati:

•  Analisi del documento  - Comprende un documento XML o HTML che viene convertito nel DOM (modello oggetto documento ) File. PHP ci fornisce un'ottima estensione DOM.
•  Espressioni regolari  - È un modo di raschiare dati dai documenti Web sotto forma di espressioni regolari.

Il problema con i dati di scraping di siti Web di terzi è correlato al suo copyright poiché non si dispone dell'autorizzazione per utilizzare questi dati. Ma con PHP, puoi facilmente raschiare dati senza problemi legati al copyright o alla bassa qualità. Come programmatore PHP, potresti aver bisogno di dati da diversi siti Web per scopi di codifica. Qui abbiamo spiegato come ottenere dati da altri siti in modo efficiente, ma prima di questo, dovresti tenere a mente che alla fine otterrai i file index.php o scrape.js.

Passi1: Crea modulo per inserire l'URL del sito Web:

Innanzitutto, è necessario creare un modulo in index.php facendo clic sul pulsante Invia e immettere l'URL del sito Web per i dati di raschiatura.

Steps2: Creare una funzione PHP per ottenere dati sul sito:

Il secondo passo è creare La funzione PHP scansiona nel file scrape.php in quanto aiuterà a ottenere dati e utilizzare la libreria di URL. Vi consentirà inoltre di connettervi e comunicare con diversi server e protocolli senza alcun problema.

function scrapeSiteData($website_url){

if (!function_exists('curl_init')) {

die('cURL is not installed. Please install and try again.');

}

$curl = curl_init();

curl_setopt($curl, CURLOPT_URL, $website_url);

curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);

$output = curl_exec($curl);

curl_close($curl);

return $output;

}

Qui, possiamo vedere se PHP cURL è stato installato correttamente o meno. Nell'area delle funzioni devono essere utilizzati tre parametri CURL principali e curl_init () aiuterà a inizializzare le sessioni, curl_exec () lo eseguirà e curl_close () aiuterà a chiudere la connessione. Le variabili come CURLOPT_URL vengono utilizzate per impostare gli URL del sito Web che dobbiamo analizzare. Il secondo CURLOPT_RETURNTRANSFER aiuterà a memorizzare le pagine raschiate nella forma variabile piuttosto che nella forma predefinita, che alla fine visualizzerà l'intera pagina web.

Steps3: raschiare dati specifici dal sito web:

È il momento di gestire le funzionalità del tuo file PHP e di analizzare la sezione specifica della tua pagina web. Se non si desidera che tutti i dati di un URL specifico, è necessario modificare utilizzare le variabili CURLOPT_RETURNTRANSFER e evidenziare le sezioni che si desidera analizzare.

if(isset($_POST['submit'])){

$html = scrapeWebsiteData($_POST['website_url']);

$start_point = strpos($html, 'Latest Posts');

$end_point = strpos($html, '', $start_point);

$length = $end_point-$start_point;

$html = substr($html, $start_point, $length);

echo $html;

}

Vi consigliamo di sviluppare le conoscenze di base di PHP e delle espressioni regolari prima di utilizzare uno di questi codici o di raschiare un determinato blog o sito Web per scopi personali.