Semalt Review: Web Scraping für Spaß & Profit

Scraping erfordert das Verständnis der Struktur der von Ihnen benötigten Daten und ihrer Zugänglichkeit. Dies beginnt mit dem Abrufen Ihrer Daten. Suchen Sie die URL, die die benötigten Informationen zurückgibt. Durchsuchen Sie die Website und überprüfen Sie, wie sich die URLs beim Navigieren durch verschiedene Abschnitte ändern.

Alternativ können Sie mehrere Begriffe auf der Website durchsuchen und überprüfen, wie sich die URLs basierend auf Ihrem Suchbegriff ändern. Sie sollten einen GET-Parameter wie q = sehen, der sich ändert, wenn Sie einen neuen Begriff suchen. Behalten Sie die GET-Parameter bei, die zum Laden Ihrer Daten erforderlich sind, und entfernen Sie die anderen.

Umgang mit Paginierung

Durch die Paginierung können Sie nicht auf alle Daten zugreifen, die Sie gleichzeitig benötigen. Wenn Sie auf Seite 2 klicken, wird der URL ein Parameter offset = hinzugefügt. Dies ist entweder die Anzahl der Elemente auf einer Seite oder die Seitennummer. Erhöhen Sie diese Anzahl auf jeder Seite Ihrer Daten.

Ziehen Sie bei Websites mit AJAX die Registerkarte "Netzwerk" in Firebug oder Inspector nach oben. Überprüfen Sie die XHR-Anforderungen, identifizieren und konzentrieren Sie sich auf diejenigen, die Ihre Daten abrufen.

Abrufen von Daten aus Seitenmarkierung

Dies wird mithilfe von CSS-Hooks erreicht. Klicken Sie mit der rechten Maustaste auf einen bestimmten Bereich Ihrer Daten. Ziehen Sie den Firebug oder den Inspector und zoomen Sie durch den DOM-Baum, um das äußerste zu erhalten, das ein einzelnes Objekt umschließt. Sobald Sie über den richtigen Knoten aus der DOM-Struktur verfügen, können Sie die Seitenquelle anzeigen, um sicherzustellen, dass Ihre Elemente in reinem HTML zugänglich sind.

Um die Website erfolgreich zu scrappen, benötigen Sie eine HTML-Parsing-Bibliothek, die HTML einliest und in ein Objekt umwandelt, das Sie durchlaufen können, bis Sie das bekommen, was Sie brauchen. Wenn Ihre HTTP-Bibliothek das Setzen von Cookies oder Headern erfordert, durchsuchen Sie die Website in Ihrem Webbrowser und lassen Sie sich die Header von Ihrem Browser senden. Legen Sie sie in ein Wörterbuch und leiten Sie mit Ihrer Anfrage weiter.

Wenn Sie eine Anmeldung für Scrape benötigen

Wenn Sie ein Konto erstellen und sich anmelden müssen, um die gewünschten Daten zu erhalten, benötigen Sie eine gute HTTP-Bibliothek für die Anmeldung. Mit der Scraper-Anmeldung werden Sie Websites von Drittanbietern zugänglich gemacht.

Wenn das Ratenlimit Ihres Web-Service von der IP-Adresse abhängt, setzen Sie einen Code, der den Web-Service trifft, auf ein clientseitiges Javascript. Leiten Sie dann die Ergebnisse von jedem Client an Ihren Server zurück. Die Ergebnisse scheinen von so vielen Orten zu stammen, und keines wird ihr Ratenlimit überschreiten.

schlecht formuliertes Markup

Einige Markups können schwer zu validieren sein. In solchen Fällen sollten Sie in Ihren HTML-Parser nach Fehlertoleranzeinstellungen suchen. Alternativ können Sie das gesamte HTML-Dokument als eine lange Zeichenfolge behandeln und String-Splitting durchführen.

Während Sie alle Arten von Daten über das Internet abschaben können, verwenden einige Websites Software, um das Schaben zu stoppen, und andere verbieten  Web-Ausschuss . Solche Seiten können Sie verklagen und haben Sie sogar eingesperrt, um ihre Daten zu ernten. Sei also clever bei all deinen Web Scraping und mach es sicher.