Semalt Review - Ejecutando un script de raspado
Airflow es un programador de bibliotecas para Python utilizado para configurar flujos de trabajo de sistemas múltiples ejecutados en paralelo a través de cualquier número de usuarios. Una sola tubería de flujo de aire comprende las operaciones SQL, bash y Python. La herramienta funciona al especificar dependencias entre tareas, un elemento crítico que ayuda a determinar las tareas que se ejecutarán en paralelo y las que se ejecutarán después de que se completen las otras funciones.
¿Por qué Airflow?
La herramienta Airflow está escrita en Python, ofreciéndole la ventaja de agregar sus operadores a la funcionalidad personalizada ya establecida. Esta herramienta le permite raspar datos a través de transformaciones desde un sitio web a una hoja de datos bien estructurada. Airflow usa gráficos acíclicos dirigidos (DAG) para representar un flujo de trabajo específico. En este caso, un flujo de trabajo se refiere a una colección de tareas que comprende dependencias direccionales.
Cómo funciona Apache Airflow
Airflow es un sistema de gestión de almacenes que trabaja para definir tareas como sus últimas dependencias a medida que el código ejecuta las funciones en un cronograma y distribuye la tarea ejecución en todos los procesos de trabajo. Esta herramienta ofrece una interfaz de usuario que muestra el estado de las tareas en ejecución y pasadas.
Airflow muestra información de diagnóstico a los usuarios sobre el proceso de ejecución de tareas y permite al usuario final administrar la ejecución de tareas manualmente. Tenga en cuenta que un gráfico acíclico dirigido solo se usa para establecer el contexto de ejecución y para organizar tareas. En Airflow, las tareas son los elementos cruciales que ejecutan un guión de raspado. En raspado, las tareas comprenden dos sabores que incluyen:
- Operador
En algunos casos, las tareas funcionan como operadores donde ejecutan operaciones según lo especificado por los usuarios finales. Los operadores están diseñados para ejecutar scraping script y otras funciones que se pueden realizar en el lenguaje de programación Python.
- Sensor
Las tareas también se desarrollan para que funcionen como sensores. En tal caso, la ejecución de tareas que dependen unas de otras se puede pausar hasta un criterio donde el flujo de trabajo se ejecuta sin problemas se ha cumplido.
Airflow se usa en diferentes campos para ejecutar una secuencia de comandos. A continuación se muestra una guía sobre cómo usar Airflow.
- Abra su navegador y verifique su interfaz de usuario
- Verifique el flujo de trabajo que falló y haga clic en él para ver las tareas que salieron mal
- Haga clic en "Ver registro" para verificar la causa de la falla. failure
- Vaya a la sección de administración y haga clic en "Connections". Edite la conexión de Postgres para recuperar la nueva contraseña y haga clic en k "Guardar".
- Vuelva a visitar su navegador y haga clic en la tarea que falló. Haga clic en la tarea y toque "Borrar" para que la tarea se ejecute correctamente la próxima vez.
Otros planificadores de Python a tener en cuenta
Cron
Cron es un sistema operativo basado en Unix que se utiliza para ejecutar scripts de fraguado periódicamente en intervalos fijos, fechas y horas Esta biblioteca se usa principalmente para mantener y configurar entornos de software.
Luigi
Luigi es un módulo de Python que le permitirá manejar la visualización y la resolución de dependencia. Luigi se usa para crear oleoductos complejos de recolección de trabajos.
Airflow es una biblioteca de programación para Python utilizada para manejar proyectos de administración de dependencias. En Airflow, las tareas que se ejecutan dependen unas de otras. Para obtener resultados consistentes, puede configurar su secuencia de comandos Airflow para que se ejecute automáticamente después de cada una o dos horas.
Post a comment
