Semalt İnceleme - Kazıma Senaryo Çalıştırma
Airflow, Python için çoklu sistem iş akışlarını paralel olarak yapılandırmak için kullanılan bir zamanlayıcı kitaplıklarıdır. herhangi bir sayıda kullanıcıya. Tek bir Airflow boru hattı, SQL, bash ve Python işlemlerini içerir. Araç, görevler arasındaki bağımlılıkları, görevlerin paralel yürütülmesini belirlemeye yardımcı olan kritik bir öğe ve diğer işlevler tamamlandıktan sonra hangisinin yürütüleceğini belirleyerek çalışır.
Neden Hava Akımı?
Hava akımı aracı, operatörlerini önceden belirlenmiş özel işlevlere ekleme avantajını veren Python'da yazılmıştır. Bu araç, bir web sitesinden iyi yapılandırılmış bir veri sayfasına dönüştürmeler yaparak verileri sıyırmanızı sağlar. Hava akışı, belirli bir iş akışını temsil etmek için Directed Acyclic Graph (DAG) kullanır. Bu durumda, bir iş akışı yönsel bağımlılıkları içeren bir görevler topluluğunu belirtir.
Apache Hava Akımı nasıl çalışır
Hava Akımı, işlevi bir programda işlevleri yerine getirirken görevi dağıttığı görevleri en iyi bağımlılıkları olarak tanımlamak için çalışan bir Depo Yönetim Sistemidir tüm işçi süreçleri arasında yürütme. Bu araç hem çalışan hem de geçmiş görevlerin durumunu görüntüleyen bir kullanıcı arabirimi sunar.
Hava akımı, görev yürütme işlemi ile ilgili olarak kullanıcılara tanılama bilgilerini görüntüler ve son kullanıcının görevlerin yürütülmesini manuel olarak yönetmesine izin verir. Yönetilen bir akilli grafik yalnızca yürütme bağlamını ayarlamak ve görevleri düzenlemek için kullanılır.
Airflow'da görevler, kazıma betiğini çalıştıran önemli unsurlardır. Kazıma işleminde, görevler aşağıdakileri içeren iki lezzetten oluşur:
- Operatör
Bazı durumlarda, görevler son kullanıcılar tarafından belirtildiği şekilde operasyonları yürüttükleri operatörler olarak çalışırlar.İşleticiler, kazıma betiğini ve Python programlama dilinde gerçekleştirilebilecek diğer işlevleri çalıştırmak üzere tasarlanmıştır.
- Sensör
Sensörler olarak görevler de geliştirilir.Böyle bir durumda, birbirine bağlı görevlerin yürütülmesi, iş akışının sorunsuz bir şekilde gerçekleştiği bir ölçüye kadar durdurulabilir.
Hava akışı, kazıma betiğini çalıştırmak için farklı alanlarda kullanılır. Aşağıda hava akışının nasıl kullanılacağına dair bir kılavuz bulunur.
- Tarayıcınızı açın ve kullanıcı arayüzünüzü kontrol edin.
- Başarısız olan işi kontrol etmek için başarısız olan iş akışını kontrol edin ve üzerine tıklanan işlemleri kontrol edin.
- Başarısızlığın sebebini kontrol etmek için "Günlüğü göster" seçeneğini tıklayın. Çoğu durumda, şifre doğrulama hatası iş akışına neden olur başarısızlık.
- Yönetici bölümüne gidin ve "Bağlantılar" ı tıklayın. Postgres bağlantısını yeni şifreyi ve şifreyi almak için düzenleyin.
- Tarayıcınızı tekrar ziyaret edin ve başarısız olan görevi tıklayın. Görevi tıklayın ve görevin bir sonraki sefer başarılı şekilde çalışması için "Temizle" ye dokunun.
Diğer Python zamanlayıcılar
Cron
Cron, belirli aralıklarla periyodik olarak kazıyıcı betikleri çalıştırmak için kullanılan Unix tabanlı bir işletim sistemidir, tarihler ve saatler. Bu kütüphane çoğunlukla yazılım ortamlarını korumak ve kurmak için kullanılır.
Luigi
Luigi, görselleştirme ve bağımlılık çözümlemeyi ele almanızı sağlayacak bir Python modülüdür. Luigi, iş kollarının karmaşık boru hatlarını oluşturmak için kullanılır.
Airflow, bağımlılık yönetimi projelerini işlemek için kullanılan Python için bir zamanlayıcı kitaplığıdır. Hava Akımı'nda, görevlerin yürütülmesi birbirine bağlı. Tutarlı sonuçlar elde etmek için Airflow komut dosyanızı her bir saatte bir veya iki saat sonra otomatik olarak çalışacak şekilde ayarlayabilirsiniz.
Post a comment
