Semalt: extracción de URL de páginas web con hermosa sopa

Beautiful Soup es un paquete Python de alto nivel utilizado para analizar documentos XML y HTML. La biblioteca Beautiful Soup Python crea un árbol de análisis que se utiliza para extraer información útil del lenguaje de marcado de hipertexto (HTML). Esta biblioteca está disponible para las versiones de Python 2 y Python 3.

En la mayoría de los casos, encuentra que solo se puede acceder a sus datos de destino y usarlos como parte de una página web. En tal caso, debe utilizar dicha técnica web scraping que puede extraer datos en los formatos que pueden analizarse. Aquí es donde entra la biblioteca Beautiful Soup.

Requisitos

Necesita los módulos correctos para usar la biblioteca Beautiful Soup. Para comenzar, necesita instalar el lenguaje de programación de Python 2.7 en su máquina. En esta publicación, aprenderá cómo raspar un sitio web y extraerá todas las URL usando Solicitudes y Sopa hermosa 4. El análisis HTML es una tarea de hágalo usted mismo, especialmente con la ayuda técnica de Beautiful Soup.

¿Por qué usar Beautiful Soup?

Beautiful Soup es el paquete de Python mejor clasificado que se ha utilizado para rastrear sitios web y analizar etiquetas HTML desde 2004. Recientemente, Beautiful Soup 4 reemplazó a Beautiful Soup 3 en la industria. Tenga en cuenta que BS4 funciona en ambas versiones de Python, mientras que BS3 solo funciona en Python 2.7. La biblioteca consta de las siguientes funciones integradas:

• Capacidad de codificación: no tiene que preocuparse por las codificaciones una vez que instale los bellos módulos de sopa necesarios en su máquina. La biblioteca está automatizada para convertir las entradas a Unicode y las salidas a UTF-8.
• Capacidad de navegación: Beautiful Soup ofrece métodos fáciles de usar para buscar, navegar y modificar un árbol de análisis sintáctico.

¿Cómo usar la biblioteca Beautiful Soup?

Después de instalar Beautiful Soup en su máquina, puede comenzar a usar la biblioteca. Para comenzar, importe la biblioteca bs4 al comienzo de su código Python. Pase el contenido o la URL a Beautiful Soup para crear un objeto Soup. Sin embargo, la biblioteca no busca la página web de destino en sí misma. Aquí, debes completar esa tarea manualmente. También puede buscar fácilmente las páginas web preferidas usando una combinación de Python y Beautiful Soup.

Funciones de la biblioteca de solicitudes

Para borrar una página, primero debe descargarla. Puede descargar páginas web utilizando la biblioteca de solicitudes. Pide que la biblioteca realice una solicitud "GET" a los servidores web, que, a su vez, descargará los contenidos HTML de la página web preferida.

Extracción de URL de páginas web

Ahora tiene información detallada sobre la biblioteca Beautiful Soup. Una combinación de biblioteca BS4 y Python te ayudará a buscar una página web muy rápidamente. Para extraer todas las URL de su página web objetivo, use el método "buscar todo". Este método le dará una compilación de elementos con la etiqueta. Desde bs4, importe tanto Beautiful Soup como solicitudes. Ejecute su código e ingrese a un sitio web o página web para extraer las URL.