Semalt suggère 5 étapes pour gratter les pages Web

Il s'agit d'un tutoriel simple sur la façon d'écrire sur le crawler Web en utilisant Scrapy, parser Craigslist et magasin informations au format CSV. Les cinq étapes principales de ce tutoriel sont mentionnées ci-dessous:

1. Créer un nouveau projet Scrapy

2. Écrire une araignée pour explorer un site Web et extraire des données

3. Exportez les données récupérées à l'aide de la ligne de commande

4. Modifiez les liens spider

5. Utilisez les arguments spider

1. Créez un projet

La première étape consiste à créer un projet. Vous devrez télécharger et installer Scrapy. Dans sa barre de recherche, vous devez entrer le nom du répertoire dans lequel vous souhaitez stocker les données. Scrapy utilise différentes araignées pour extraire des informations, et ces araignées font des demandes initiales pour créer des répertoires. Pour mettre un araignée au travail, vous devez visiter la liste des répertoires et y insérer un code particulier. Gardez un œil sur les fichiers de votre répertoire actuel et notez deux nouveaux fichiers: quotes-a.html et quotes-b.html.

2. Écrivez une araignée pour explorer un site Web et extraire des données:

La meilleure façon d'écrire une araignée et d'extraire des données est de créer différents sélecteurs dans la coquille de Scrapy. Vous devez toujours inclure les URL entre guillemets. sinon, Scrapy changera la nature ou les noms de ces URL instantanément. Vous devez utiliser des guillemets doubles autour d'une URL pour écrire une araignée de manière appropriée. Vous devriez utiliser.extract_first et éviter une erreur d'index.

3. Exportez les données éraflées à l'aide de la ligne de commande:

Il est important d'exporter les données éraflées à l'aide de la ligne de commande. Si vous ne l'exportez pas, vous n'obtiendrez pas de résultats précis. L'araignée générera différents répertoires contenant des informations utiles. Vous devez utiliser les mots-clés Python yield pour exporter ces informations d'une meilleure manière. L'importation de données dans des fichiers JSON est possible. Les fichiers JSON sont utiles pour les programmeurs. Des outils tels que JQ permettent d'exporter des données récupérées sans aucun problème.

4. Modifier spider pour suivre les liens:

Dans les petits projets, vous pouvez changer les araignées pour suivre les liens de manière appropriée. Mais ce n'est pas nécessaire avec des projets de grattage de données de grande taille . Un fichier d'espace réservé pour les pipelines d'éléments sera mis en place lorsque vous modifiez spider. Ce fichier peut être situé dans la section tutorial / pipelines.py. Avec Scrapy, vous pouvez créer des araignées sophistiquées et changer leur emplacement à tout moment. Vous pouvez extraire plusieurs sites à la fois et effectuer divers projets d'extraction de données. 

5. Utiliser les arguments spider:

Le callback parse_author est un argument spider qui peut être utilisé pour extraire des données de sites web dynamiques. Vous pouvez également fournir des arguments de ligne de commande aux araignées avec un code spécifique. Les arguments spider deviennent des attributs spider en un rien de temps et modifient l'apparence générale de vos données.

Dans ce tutoriel, nous avons seulement couvert les bases de Scrapy. Il y a beaucoup de fonctionnalités et d'options pour cet outil. Vous avez juste besoin de télécharger et d'activer Scrapy pour en savoir plus sur ses spécifications.