Semalt: Web Sayfalarından Güzel Çorba ile URL Çıkarma

Güzel Çorba, XML ve HTML belgelerinin ayrıştırılması için kullanılan üst düzey bir Python paketidir. Güzel Çorba Python kitaplığı, HyperText Markup Language (HTML) 'den yararlı bilgileri ayıklamak için kullanılan bir ayrıştırma ağacı oluşturur. Bu kütüphane hem Python 2 hem de Python 3 sürümleri için mevcuttur.Çoğu durumda, hedef verilerinize yalnızca bir web sayfasının parçası olarak erişilebilir ve kullanılabilir olduğunu buluyorsunuz. Böyle bir durumda, analiz edilebilen formatlarda veri ayıklayabilen böyle bir  web kazıma  tekniğini kullanmanız gerekir. Güzel Çorba kütüphanesinin içeri girdiği yer.         

Koşullar

Güzel Çorba kütüphanesini kullanmak için doğru modüllere ihtiyacınız var. Başlamak için, makinenize Python 2.7 programlama dili yüklemelisiniz. Bu yazıda bir web sitesini nasıl kazıyacağınızı  öğreneceksiniz  ve İstekler ve Güzel Çorba'yı kullanarak tüm URL'leri ayıklayacaksınız. HTML ayrıştırma, özellikle Güzel Çorbanın teknik yardımıyla kendin yapmak bir iştir. 

Neden güzel çorba kullanın?

Güzel Çorba, 2004 yılından bu yana web sitelerini sıyırmak ve HTML etiketlerini ayrıştırmak için kullanılan üst düzey bir Python paketidir. Son zamanlarda, Güzel Çorba 4, Sanayide Güzel Çorba 3'ün yerini aldı. BS4, her iki Python sürümünde de çalışırken BS3 yalnızca Python 2.7'de çalışır. Kütüphane aşağıdaki dahili özelliklerden oluşur:          

• Kodlama yeteneği - Makinenize gerekli güzel Çorba modüllerini yükledikten sonra kodlamaları paniklemek zorunda kalmazsınız. Kütüphane, girdileri Unicode'a dönüştürmek üzere otomatikleştirilir ve UTF-8'e çıktılar.   
• Navigasyon kabiliyeti - Güzel Çorba, ayrıştırma ağacını araştırmak, gezinmek ve değiştirmek için kullanımı kolay yöntemler sunar.

Güzel Çorba kütüphanesi nasıl kullanılır?

Makinenize Güzel Çorba yükledikten sonra, kütüphaneyi kullanmaya başlayabilirsiniz. Başlamak için, Bs4 kitaplığını Python kodunuzun başına getirin. Çorba nesnesi oluşturmak için içeriği veya URL'yi Güzel Çorbaya aktarın. Bununla birlikte, kütüphane kendi üzerinde hedef web sayfasını almaz. Burada, bu görevi manuel olarak tamamlamanız gerekiyor. Ayrıca, tercih edilen web sayfalarını Python ve Güzel Çorba kombinasyonunu kullanarak kolayca getirebilirsiniz.         

İstek kütüphane rolleri

Bir sayfayı sıyırmak için önce sayfayı indirmeniz gerekir. İstek kitaplığını kullanarak web sayfalarını indirebilirsiniz. Kütüphane talepleri, web sunucularına "GET" isteği göndererek çalışır, bu da tercih edilen web sayfasının HTML içeriğini indirir.                  

URL'leri web sayfalarından ayıklamak

Artık Güzel Çorba kütüphanesi hakkında ayrıntılı bilgi sahibisiniz. BS4 kitaplığının ve Python'ın birleşimi, bir web sayfasını çok hızlı bir şekilde almanıza yardımcı olur. Hedef web sayfanızdaki tüm URL'leri ayıklamak için "hepsini bulma" yöntemini kullanın. Bu yöntem etiketli unsurların derlemesini verecektir. BS4'den hem Güzel Çorba hem de taleplerinizi içe aktarın. Kodunuzu çalıştırın ve URL'leri ayıklamak için bir web sitesi veya web sayfası girin.