Semalt: 3 stappen naar PHP Webpagina Schrapen

Webschrapen, ook wel webdatatextractie of web-harvesting genoemd, is de proces van het extraheren van gegevens van een website of blog. Deze informatie wordt vervolgens gebruikt om metatags, metabeschrijvingen, trefwoorden en links naar een site in te stellen, waardoor de algehele prestaties in de zoekresultaten van de zoekmachine worden verbeterd.

Twee hoofdtechnieken worden gebruikt om gegevens te schrapen:

•  Documenten analyseren  - Het gaat om een XML- of HTML-document dat wordt geconverteerd naar de DOM (Document Object Model ) bestanden. PHP biedt ons een geweldige DOM-extensie.
•  Reguliere uitdrukkingen  - Het is een manier om gegevens uit de webdocumenten te schrapen in de vorm van reguliere expressies.

Het probleem met de scraping-gegevens van de website van derden heeft te maken met het auteursrecht omdat u geen toestemming hebt om deze gegevens te gebruiken. Maar met PHP kunt u gemakkelijk gegevens schrapen zonder problemen met betrekking tot auteursrechten of lage kwaliteit. Als PHP-programmeur hebt u mogelijk gegevens nodig van verschillende websites voor coderingsdoeleinden. Hier hebben we uitgelegd hoe u gegevens van andere sites efficiënt kunt ophalen, maar daarvoor moet u in gedachten houden dat u aan het einde van het bestand index.php of scrape.js krijgt.

Stappen1: Formulier maken om de website-URL in te voeren:

Eerst en vooral moet u een formulier maken in index.php door op de knop Verzenden te klikken en de website-URL in te voeren voor het schrapen van gegevens.

Stappen2: Creëer PHP-functie om websitegegevens te verkrijgen:

De tweede stap is het creëren van PHP-functie schraapt in het bestand scrape.php omdat het helpt bij het ophalen van gegevens en het gebruik van de URL-bibliotheek. Hiermee kunt u zonder problemen verbinding maken en communiceren met verschillende servers en protocollen..

function scrapeSiteData ($ website_url) {

if (! Function_exists ('curl_init')) {

die ('cURL is niet geïnstalleerd. Installeer en probeer het opnieuw. ');

}

$ curl = curl_init

;

curl_setopt ($ curl, CURLOPT_URL, $ website_url);

curl_setopt ($ curl, CURLOPT_RETURNTRANSFER, true);

$ output = curl_exec ($ curl);

curl_close ($ curl);

return $ output;

}

Hier kunnen we zien of de PHP cURL correct is geïnstalleerd of niet. Drie hoofdcursussen moeten worden gebruikt in het functiegebied en curl_init

zal helpen bij het initialiseren van de sessies, curl_exec

voert het uit en curl_close

zal helpen de verbinding te sluiten. De variabelen zoals CURLOPT_URL worden gebruikt om de website-URL's in te stellen die we nodig hebben om te schrapen. De tweede CURLOPT_RETURNTRANSFER helpt de geschrapte pagina's in de variabele vorm op te slaan in plaats van de standaardpagina, die uiteindelijk de hele webpagina weergeeft.

Stappen 3: Specifieke gegevens schrapen van de website:

Het is tijd om de functionaliteiten van uw PHP-bestand te behandelen en het specifieke gedeelte van uw webpagina te schrapen. Als u niet alle gegevens van een specifieke URL wilt, moet u de variabelen CURLOPT_RETURNTRANSFER bewerken en de secties markeren die u wilt schrapen.

if (isset ($ _ POST ['submit'])) {

$ html = scrapeWebsiteData ($ _ POST ['website_url']);

$ start_point = strpos ($ html, 'Laatste berichten');

$ end_point = strpos ($ html, '', $ startpunt);

$ length = $ end_point- $ start_punt;

$ html = substraat ($ html, $ startpunt, $ lengte);

echo $ html;

}

We raden u aan de basiskennis van PHP en de reguliere expressies te ontwikkelen voordat u een van deze codes gebruikt of een bepaalde blog of website voor persoonlijke doeleinden schraapt.