Scraping della schermata Web: suggerimenti utili di Semalt
Al giorno d'oggi, i dati possono diventare la vostra risorsa più importante. Pertanto, non è mai una buona idea lasciarlo scivolare nelle mani dei tuoi concorrenti. Tuttavia, a volte può essere difficile impedirlo a causa del raschiamento dello schermo. Questa è una tecnica che è stata usata per anni per estrarre dati da pagine web.
Questo metodo pone due problemi significativi a un'impresa. Prima di tutto, i dati possono essere utilizzati per ottenere un vantaggio su un'azienda, magari riducendo i prezzi e ottenendo informazioni sui prodotti. Inoltre, se fatto in modo persistente, la tecnica potrebbe anche ridurre le prestazioni di un sito web.
Generalmente, lo screen scraping è un concetto che è stato creato dai primi programmi di emulazione terminale un paio di decenni fa. È una tecnica programmatica che estrae informazioni da schermi progettati principalmente per la visualizzazione da parte di esseri umani. Il programma fa finta di essere un essere umano e legge i dati, raccogliendo informazioni preziose e elaborandole per l'archiviazione.
La tecnica si è evoluta in modo significativo nel corso degli anni, in particolare con l'invenzione dei web crawler, evolvendosi ulteriormente con lo sviluppo di scraping di e-retail, ad esempio, siti Web di confronto prezzi. utilizzare programmi che visitano periodicamente il commercio elettronico popolare per ottenere i prezzi più recenti e le informazioni sulla disponibilità per un dato prodotto o servizio, che vengono quindi archiviati in un database e utilizzati per fornire recensioni comparative del panorama dell'e-retail.
Lo screen scraping competitivo ha una varietà di impatti negativi sui sistemi IT di un'azienda in quanto è solo un altro esempio di traffico indesiderato. Studi recenti hanno dimostrato che almeno il 61% di tutto il traffico è generato da bot. risorse vitali e larghezza di banda destinata agli utenti reali del Web che può comportare un aumento del tasso di latenza per i clienti reali.
Lo scraping dello schermo è in corso da molto tempo, ma non è stato fino più recentemente che le vittime di questo comportamento stanno cominciando a reagire. Alcuni hanno rivendicato pratiche commerciali sleali e violazioni del copyright, mentre le imprese che fanno lo scraping si difendono sostenendo la libertà di informazione.
Molti proprietari di siti Web hanno fatto ricorso a politiche di utilizzo delle loro pagine Web che vietano gli scraping aggressivi. Sfortunatamente, non possono applicare queste politiche e quindi il problema non sembra andare via presto.
Anni fa, eBay ha introdotto un'API che consente ai buoni scraper di accedere ai dati. Tuttavia, non impedisce il raccolto malevolo di informazioni da utilizzare per il vantaggio competitivo. L'unica vera difesa può essere ottenuta facendo uso della tecnologia che può bloccare i visitatori non umani al tuo sito web. Ciò consente agli utenti reali di accedere al tuo sito web mentre blocca i crawler di causare danni.
Altri modi efficaci per combattere il raschiamento dello schermo sono l'uso di tecniche quali l'intelligence della reputazione IP, il rilevamento della sorgente IP falsificato, l'analisi del comportamento richiesta-risposta, la valutazione del livello delle minacce in tempo reale e la geolocalizzazione rinforzo.
Post a comment