Semalt İncelemesi: Eğlence ve Kâr için Web Kazıma

Kazıma Başlarken     

Kazıma, ihtiyacınız olan verilerin yapısını ve erişilebilirliğini anlamayı gerektirir. Bu, verilerinizi getirerek başlar. İhtiyacınız olan bilgiyi döndüren URL'yi bulun. Web sitesine göz atın ve farklı bölümler arasında gezinirken URL'lerin nasıl değiştiğini kontrol edin.         

Alternatif olarak, sitedeki birkaç terimi arayın ve URL'lerin arama teriminize dayalı olarak nasıl değiştiğini kontrol edin. Yeni bir terimi aradığınızda, q = gibi bir GET parametresi görmelisiniz. Verilerinizi yüklemek için gereken GET parametrelerini saklayın ve diğerlerini kaldırın.

Sayfalıklaştırma İşlemi Nasıl Yapılır   

Sayfalandırma, bir kerede ihtiyacınız olan tüm verilere erişmenizi engeller. Sayfa 2'yi tıklattığınızda, bir offset = parametresi URL'ye eklenir. Bu, bir sayfadaki öğe sayısı veya sayfa numarasıdır. Verilerinizin her sayfasında bu sayıyı artırın..       

AJAX kullanan siteler için Firebug veya Inspector'daki ağ sekmesini açın. XHR taleplerini kontrol edin, verilerinizi çeken kişilere odaklanın ve odaklanın.

Sayfa İşaretinden Veri Alın    

Bu, CSS kancaları kullanılarak gerçekleştirilir. Verilerinizin belirli bir bölümünü sağ tıklayın. Firebug veya Inspector'ı çekin ve tek bir öğeyi saran en dıştaki alanını almak için DOM ağacında zum yapın. DOM ağacından doğru düğüme sahip olduğunuzda öğelerinize ham HTML'de erişilebilir olmasını sağlamak için sayfa kaynağını görüntüleyin.      

Kazıma alanını başarıyla kurmak için, HTML'yi okur ve ihtiyaç duyduğunuza kadar yineleyebileceğiniz bir nesneye dönüştüren bir HTML ayrıştırma kitaplığına ihtiyacınız vardır. HTTP kitaplığınız bazı tanımlama bilgilerini veya başlıkları ayarlamanızı gerektiriyorsa, web tarayıcınızdaki siteye göz atın ve başlıkların tarayıcınız tarafından gönderilmesini sağlayın. Onları bir sözlüğe alın ve isteğinizle iletin.

Kazıma için Giriş Yapmanız Gerektiğinde      

İstediğiniz veriyi almak için bir hesap oluşturmanız ve giriş yapmanız gerekiyorsa, oturum açma işlemlerini gerçekleştirmek için iyi bir HTTP kitaplığına sahip olmanız gerekir. Kazıyıcı girişi, sizi üçüncü taraf sitelerine maruz bırakır.   

Web hizmetinizin oran sınırı IP adresine bağlıysa, web servisini istemci tarafı Javascript'e çarpan bir kod belirleyin. Ardından sonuçları her istemciden sunucunuza geri gönderin. Sonuçlar pek çok yerden kaynaklanmış gibi görünüyor ve hiçbiri kendi oran sınırını aşmayacaktır.

          

Kötü Biçimlendirilmiş İşaretleme         

Bazı biçimlendirmelerin doğrulanması zor olabilir. Bu gibi durumlarda, hata toleransı ayarları için HTML ayrıştırıcınızı araştırın. Alternatif olarak, tüm HTML belgesini uzun bir dize olarak değerlendirin ve dize bölme yapın.         

İnternetteki her türlü bilgiyi site kazıyorken, bazı sitelerde sıyırmayı durdurmak için yazılımlar kullanılmaktadır ve diğerleri  web hurda  yasaklamaktadır. Bu tür siteler sizi dava edebilir ve verilerinizi toplamak için hapse atabilirsiniz. Bu yüzden tüm web kazıma akıllı olun ve güvenle yapın.