Guide du débutant de Semalt sur le grattage de page Web

Les données et informations sur le web augmentent jour après jour. De nos jours, la plupart des gens utilisent Google comme première source de connaissances, qu'ils recherchent des avis sur une entreprise ou tentent de comprendre un nouveau terme.

Avec la quantité de données disponibles sur le Web, cela ouvre de nombreuses opportunités pour les Data scientists. Malheureusement, la plupart des données sur le Web ne sont pas facilement disponibles. Il est présenté dans un format non structuré appelé format HTML qui n'est pas téléchargeable. Ainsi, il nécessite la connaissance et l'expertise d'un data scientist pour l'utiliser.

Le scrap Web est le processus de conversion des données présentes au format HTML en un format structuré facilement accessible et utilisable. Presque tous les langages de programmation peuvent être utilisés pour une mise au rebut correcte du Web. Cependant, dans cet article, nous utiliserons le langage R.

Il existe plusieurs façons de récupérer les données du Web. Parmi les plus populaires, citons:

1. Copier-Coller humain

C'est une technique de raclage lente mais très efficace Dans cette technique, une personne analyse elle-même les données et les copie ensuite dans le stockage local.

2. Appariement de textos

Voici une autre approche simple mais puissante Pour extraire des informations à partir d'un site Web, il faut utiliser des fonctions de correspondance d'expressions régulières de langages de programmation.

3. Interface API

De nombreux sites Web tels que Twitter, Facebook, LinkedIn, etc. API publiques ou privées qui peuvent être appelées en utilisant des codes standards pour récupérer des données dans un format prescrit.

4. DOM Parsing

Notez que certains programmes peuvent récupérer du contenu dynamique créé par les scripts côté client. Il est possible d'analyser les pages dans une arborescence DOM basée sur les programmes que vous pouvez utiliser pour récupérer certaines parties de ces pages.

Avant o se lancer dans le raclage web dans R, vous devez avoir une connaissance de base sur R. Si vous êtes un débutant, il existe de nombreuses bonnes sources qui peuvent vous aider. En outre, vous devez avoir une connaissance de HTML et CSS. Cependant, puisque la plupart des scientifiques de données ne sont pas très solides avec les connaissances techniques de HTML et CSS, vous pouvez utiliser un logiciel ouvert tel que Selector Gadget.

Par exemple, si vous collectez des données sur le site Web de la BDIM pour les 100 films les plus populaires diffusés sur une période donnée, vous devez extraire les données suivantes d'un site: description, durée, genre, classement, votes , revenu brut, réalisateur et distribution. Une fois que vous avez supprimé les données, vous pouvez les analyser de différentes manières. Par exemple, vous pouvez créer un certain nombre de visualisations intéressantes. Maintenant, quand vous avez une idée générale de ce qu'est une mise au rebut de données, vous pouvez faire le tour!