Semalt: 3 étapes pour gratter la page Web PHP

Le grattage Web, également appelé extraction de données Web ou récolte de processus d'extraction de données à partir d'un site Web ou d'un blog. Ces informations sont ensuite utilisées pour définir des métabalises, des méta descriptions, des mots-clés et des liens vers un site, améliorant ainsi ses performances globales dans les résultats des moteurs de recherche.

Deux techniques principales sont utilisées pour gratter les données:

•  Analyse de documents  - Il s'agit d'un document XML ou HTML converti en DOM (Document Object Model) des dossiers. PHP nous fournit une excellente extension DOM.
•  Expressions régulières  - C'est une manière de récupérer des données des documents Web sous la forme d'expressions régulières.

Le problème avec les données de grattage du site Web d'un tiers est lié à ses droits d'auteur, car vous n'êtes pas autorisé à utiliser ces données. Mais avec PHP, vous pouvez facilement gratter les données sans problèmes liés aux droits d'auteur ou de mauvaise qualité. En tant que programmeur PHP, vous pouvez avoir besoin de données provenant de différents sites Web à des fins de codage. Ici, nous avons expliqué comment obtenir des données d'autres sites efficacement, mais avant cela, vous devez garder à l'esprit qu'à la fin vous obtiendrez des fichiers index.php ou scrape.js.

Étapes1: Créer un formulaire pour entrer l'URL du site Web:

Tout d'abord, vous devez créer un formulaire dans index.php en cliquant sur le bouton Soumettre et entrer l'adresse URL du site.

Steps2: Créer une fonction PHP pour obtenir des données de site Web:

La deuxième étape consiste à créer La fonction PHP racle dans le fichier scrape.php car cela aidera à obtenir des données et à utiliser la bibliothèque d'URL. Il vous permettra également de vous connecter et de communiquer avec différents serveurs et protocoles sans aucun problème..

function scrapeSiteData ($ website_url) {

if (! Function_exists ('curl_init')) {

die ('cURL n'est pas installé. Veuillez installer et réessayer. ');

}

$ curl = curl_init

;

curl_setopt ($ curl, CURLOPT_URL, $ website_url);

curl_setopt ($ curl, CURLOPT_RETURNTRANSFER, true);

$ output = curl_exec ($ curl);

curl_close ($ curl);

return $ output;

}

Ici, nous pouvons voir si le PHP cURL a été installé correctement ou non. Trois cURL principaux doivent être utilisés dans la zone des fonctions et curl_init

aidera à initialiser les sessions, curl_exec

l'exécutera et curl_close

aidera à fermer la connexion

 Les variables telles que CURLOPT_URL sont utilisées pour définir les URL de sites Web que nous devons extraire. Le deuxième CURLOPT_RETURNTRANSFER aidera à stocker les pages grattées dans le formulaire variable plutôt que son formulaire par défaut, qui affichera finalement la page Web entière.

Steps3: Raclage des données spécifiques du site Web:

Il est temps de gérer les fonctionnalités de votre fichier PHP et de gratter la section spécifique de votre page Web. Si vous ne voulez pas toutes les données d'une URL spécifique, vous devez modifier les variables CURLOPT_RETURNTRANSFER et mettre en surbrillance les sections que vous voulez supprimer.

if (isset ($ _ POST ['envoyer'])) {

$ html = scrapeWebsiteData ($ _ POST ['website_url']);

$ start_point = strpos ($ html, 'Derniers messages');

$ end_point = strpos ($ html, '', $ start_point);

$ longueur = $ end_point- $ start_point;

$ html = substr ($ html, $ start_point, $ longueur);

echo $ html;

}

Nous vous suggérons de développer les connaissances de base de PHP et les expressions régulières avant d'utiliser l'un de ces codes ou de racler un blog ou un site Web particulier à des fins personnelles.