Revue Semalt: Web Scraping pour le plaisir et le profit
Vous pouvez site gratter sans avoir besoin d'une API. Alors que les propriétaires de sites sont agressifs à propos de l'arrêt du raclage, ils se soucient moins des API et mettent plutôt l'accent sur les sites Web. Les faits que de nombreux sites ne protègent pas adéquatement contre l'accès automatique créent une marge de manœuvre pour les scrapers. Certaines solutions de contournement simples vous aideront à récolter les données dont vous avez besoin.
Premiers pas avec Scraping
Scraping nécessite de comprendre la structure des données dont vous avez besoin et leur accessibilité. Cela commence par récupérer vos données. Recherchez l'URL qui renvoie les informations dont vous avez besoin. Parcourez le site Web et vérifiez comment les URL changent lorsque vous naviguez dans différentes sections.
Vous pouvez également rechercher plusieurs termes sur le site et vérifier comment les URL changent en fonction de votre terme de recherche. Vous devriez voir un paramètre GET comme q = qui change chaque fois que vous recherchez un nouveau terme. Conservez les paramètres GET nécessaires pour charger vos données et supprimer les autres.
Comment faire face à la pagination
La pagination vous empêche d'accéder à toutes les données dont vous avez besoin à la fois. Lorsque vous cliquez sur la page 2, un paramètre offset = est ajouté à l'URL. C'est soit le nombre d'éléments sur une page ou le numéro de page. Incrémentez ce nombre sur chaque page de vos données.
Pour les sites qui utilisent AJAX, déroulez l'onglet réseau dans Firebug ou Inspector. Vérifiez les demandes XHR, identifiez et concentrez-vous sur celles qui stockent vos données.
Obtenir des données à partir du balisage de page
Ceci est réalisé en utilisant des crochets CSS. Cliquez avec le bouton droit sur une section particulière de vos données. Tirez le Firebug ou l'Inspecteur et zoomez à travers l'arbre DOM pour obtenir le maximum qui enveloppe un seul objet. Une fois que vous avez le noeud correct de l'arborescence DOM, affichez la source de la page pour vous assurer que vos éléments sont accessibles en HTML brut.
Pour réussir le scrapage du site, vous avez besoin d'une bibliothèque d'analyse HTML qui lit en HTML et le transforme en un objet que vous pouvez itérer jusqu'à obtenir ce dont vous avez besoin. Si votre bibliothèque HTTP nécessite que vous définissiez des cookies ou des en-têtes, parcourez le site sur votre navigateur Web et obtenez les en-têtes envoyés par votre navigateur. Mettez-les dans un dictionnaire et avancez avec votre demande.
Quand vous avez besoin d'une connexion pour gratter
Si vous devez créer un compte et vous connecter pour obtenir les données que vous voulez, vous devez avoir une bonne bibliothèque HTTP pour gérer les connexions. Scraper login vous expose à des sites tiers.
Si la limite de débit de votre service Web dépend de l'adresse IP, définissez un code qui renvoie le service Web vers un Javascript côté client. Transférez ensuite les résultats à votre serveur depuis chaque client. Les résultats sembleront provenir de tant d'endroits, et aucun ne dépassera leur limite de taux.
Balisage mal formé
Certaines annotations peuvent être difficiles à valider. Dans ce cas, explorez votre analyseur HTML pour connaître les paramètres de tolérance aux erreurs. Vous pouvez également traiter le document HTML entier comme une longue chaîne et procéder au fractionnement des chaînes.
Alors que vous pouvez site gratter toutes sortes de données sur le net certains sites utilisent un logiciel pour arrêter le raclage, et d'autres interdire scrap web ing. Ces sites peuvent vous poursuivre en justice et même vous avez emprisonné pour la récolte de leurs données. Alors soyez intelligent dans tous vos grattage web et faites-le en toute sécurité.
Post a comment