Semalt: Extraction d'URL à partir de pages Web avec une belle soupe

Beautiful Soup est un package Python de haut niveau utilisé pour l'analyse de documents XML et HTML. La bibliothèque Beautiful Soup Python crée une arborescence d'analyse utilisée pour extraire des informations utiles du langage HTML (HyperText Markup Language). Cette bibliothèque est disponible pour les versions Python 2 et Python 3.

Dans la plupart des cas, vous constatez que vos données cibles ne peuvent être consultées et utilisées que dans le cadre d'une page Web. Dans un tel cas, vous devez utiliser une telle technique  de raclage Web  qui peut extraire des données dans les formats qui peuvent être analysés. C'est là que la bibliothèque Beautiful Soup entre en jeu.

Conditions requises

Vous avez besoin des bons modules pour utiliser la bibliothèque Beautiful Soup. Pour commencer, vous devez installer le langage de programmation Python 2.7 sur votre machine. Dans ce post, vous apprendrez  comment gratter un site Web  et extraire toutes les URL en utilisant Requests et Beautiful Soup 4. L'analyse HTML est une tâche à faire soi-même, en particulier avec l'aide technique de Beautiful Soup.

Pourquoi utiliser une belle soupe?

Beautiful Soup est un paquet Python de premier ordre qui a été utilisé pour gratter des sites Web et analyser des balises HTML depuis 2004..Récemment, Beautiful Soup 4 a remplacé Beautiful Soup 3 dans l'industrie. Notez que BS4 fonctionne sur les deux versions de Python alors que BS3 ne fonctionne que sur Python 2.7. La bibliothèque comprend les fonctionnalités intégrées suivantes:

• Capacité d'encodage - Vous n'avez pas à paniquer sur les encodages une fois que vous avez installé les modules de soupe nécessaires sur votre machine. La bibliothèque est automatisée pour convertir les entrées en Unicode et les sorties en UTF-8.
• Capacité de navigation - Beautiful Soup propose des méthodes faciles à utiliser pour rechercher, naviguer et modifier une arborescence d'analyse.

Comment utiliser la bibliothèque Beautiful Soup?

Après avoir installé Beautiful Soup sur votre machine, vous pouvez commencer à utiliser la bibliothèque. Pour commencer, importez la bibliothèque bs4 au début de votre code Python. Transmettez le contenu ou l'URL à Beautiful Soup pour créer un objet Soup. Cependant, la bibliothèque ne récupère pas la page Web cible sur elle-même. Ici, vous devez effectuer cette tâche manuellement. Vous pouvez également récupérer facilement les pages Web préférées en utilisant une combinaison de Python et Beautiful Soup.

Rôles de la bibliothèque de requêtes

Pour râper une page, vous devez d'abord la télécharger. Vous pouvez télécharger des pages Web à l'aide de la bibliothèque de requêtes. La demande de bibliothèque fonctionne en envoyant une requête "GET" aux serveurs Web, ce qui, à son tour, télécharge le contenu HTML de la page Web préférée.

Extraire des URL à partir de pages Web

Vous avez maintenant des informations détaillées sur la bibliothèque Beautiful Soup. Une combinaison de la bibliothèque BS4 et Python vous aidera à aller chercher une page Web très rapidement. Pour extraire toutes les URL de votre page Web cible, utilisez la méthode "find all". Cette méthode vous donnera une compilation d'éléments avec l'étiquette. À partir de BS4, importez à la fois Beautiful Soup et les demandes. Exécutez votre code et entrez un site Web ou une page Web pour en extraire les URL.