Esperto di Semalt su raschiatura di dati di siti Web - robot buoni e cattivi
Il raschiamento del web è in circolazione da molto tempo ed è considerato utile per webmaster, giornalisti, freelance, programmatori, non programmatori, ricercatori di marketing, studiosi ed esperti di social media. Esistono due tipi di robot: buoni bot e cattivi robot. I buoni robot consentono ai motori di ricerca di indicizzare il contenuto web e sono altamente preferiti dagli esperti di mercato e dai marketer digitali. I cattivi robot, d'altra parte, sono inutili e mirano a danneggiare il posizionamento nei motori di ricerca di un sito. La legalità del web scraping dipende dal tipo di robot che hai utilizzato.
Ad esempio, se si utilizzano i bot difettosi che recuperano il contenuto da pagine Web diverse con l'intenzione di usarlo illegalmente, il web scraping potrebbe essere dannoso. Ma se fai uso dei buoni robot ed evita le attività dannose, compresi gli attacchi denial of service, le frodi online, le strategie di data mining competitive, i furti di dati, i dirottamenti dei conti, la scansione di vulnerabilità non autorizzata, le frodi pubblicitarie digitali e il furto delle proprietà intellettuali, quindi la procedura di scraping web è utile e utile per far crescere la tua attività su Internet.
Sfortunatamente, la maggior parte dei freelance e delle startup ama i robot cattivi perché sono un modo economico, potente e completo per raccogliere dati senza bisogno di una partnership. Le grandi aziende, tuttavia, usano i web scrapers legali per i loro guadagni e non vogliono rovinare la loro reputazione su Internet con i web scrapers illegali. Le opinioni generali sulla legalità del web scraping non sembrano avere importanza perché negli ultimi mesi è diventato chiaro che i sistemi giudiziari federali stanno reprimendo sempre più strategie di scraping web illegali.
Il web scraping è iniziato come un processo illegale nel 2000, quando l'uso di bot e spider per raschiare i siti Web era considerato un'assurdità.Non molte pratiche sono state adattate per impedire che questa procedura si diffondesse su Internet fino 2010. eBay ha prima depositato le ingiunzioni preliminari contro Bidder's Edge, sostenendo che l'uso di bot sul sito Web aveva violato le leggi Trespass to Chattels. Il tribunale ha presto concesso le ingiunzioni perché gli utenti dovevano concordare i termini e le condizioni del sito e un un gran numero di bot è stato disattivato in quanto potrebbero essere distruttivi per i computer di eBay: la causa è stata presto risolta e eBay ha impedito a tutti di utilizzare i bot per il web scraping, indipendentemente dal fatto che siano buoni o cattivi.
Nel 2001 un'agenzia di viaggi ha citato in giudizio i concorrenti che hanno raschiato il contenuto dal sito Web con l'aiuto di ragni e cattivi robot nocivi.Il giudice ha nuovamente preso misure contro il crimine e ha favorito le vittime, dicendo che entrambi i web la raschiatura e l'uso di bot possono danneggiare varie attività online.
Al giorno d'oggi, per l'aggregazione accademica, privata e informativa, molte persone si affidano a procedure di raschiamento del web corrette e molti strumenti di scraping web sono stati sviluppati a questo riguardo. Ora i funzionari dicono che non tutti questi strumenti sono affidabili, ma quelli che vengono in versioni pagate o premium sono migliori dei free web scrapers.
Nel 2016, il Congresso aveva approvato la prima legislazione per colpire i robot cattivi e favorire i buoni robot. È stata costituita la Legge sulle vendite di biglietti online (BOTS) che ha vietato l'uso di software illegale che potrebbe indirizzare i siti Web, danneggiare i ranghi dei motori di ricerca e distruggere le loro attività. Ci sono questioni di equità. Ad esempio, LinkedIn ha speso un sacco di soldi per gli strumenti che bloccano o eliminano i bot cattivi e incoraggiano i buoni robot. Mentre i tribunali hanno cercato di decidere la legalità del web scraping, le aziende stanno rubando i loro dati.
Post a comment