Web Screen Scraping: Handige tips van Semalt
Tegenwoordig kunnen gegevens uw belangrijkste bezit worden. Als zodanig is het nooit een goed idee om het in handen te laten vallen van je concurrenten. Soms kan het echter een uitdaging zijn om dit te voorkomen als gevolg van het schrapen van het scherm. Dit is een techniek die al jaren wordt gebruikt om gegevens van webpagina's te extraheren.
Deze methode levert twee belangrijke problemen op voor een onderneming. Allereerst kunnen de gegevens worden gebruikt om een voordeel te behalen ten opzichte van een bedrijf, bijvoorbeeld door prijzen te onderbieden en informatie over producten te verkrijgen. Ook kan de techniek, als deze persistent wordt uitgevoerd, de prestaties van een website verminderen.
In het algemeen is schermschrapen een concept dat een paar decennia geleden door vroege terminalemulatieprogramma's werd gecreëerd. Het is een programmatische techniek die informatie extraheert van schermen die primair zijn ontworpen voor weergave door mensen. Het programma doet zich voor als een mens en leest de gegevens, verzamelt waardevolle informatie en verwerkt deze voor opslag.
De techniek is in de loop der jaren aanzienlijk geëvolueerd, vooral met de uitvinding van webcrawlers. Deze is verder geëvolueerd met de ontwikkeling van e-retail screen scraping, bijvoorbeeld prijsvergelijkingswebsites. gebruik programma's die regelmatig de populaire e-retail bezoeken om de laatste prijzen te verkrijgen, evenals informatie over de beschikbaarheid van een bepaald product of een bepaalde dienst.Deze gegevens worden vervolgens opgeslagen in een database en gebruikt om vergelijkende overzichten van het e-retaillandschap te maken.
Competitief schermschrapen heeft een aantal negatieve gevolgen voor de IT-systemen van een bedrijf omdat het slechts een ander voorbeeld is van ongewenst verkeer. Recente onderzoeken hebben aangetoond dat ten minste 61% van al het verkeer wordt gegenereerd door bots. vitale bronnen en bandbreedte bedoeld voor echte webgebruikers, wat kan resulteren in een toename van de latentie voor echte klanten.
Screenscraping is al lang aan de gang. meer recentelijk dat de slachtoffers van dit gedrag beginnen te reageren. Sommigen hebben oneerlijke handelspraktijken en inbreuk op het auteursrecht geëist, terwijl de bedrijven die zich schrap zetten, zichzelf verdedigen door vrijheid van informatie te claimen.
Veel website-eigenaren hebben hun toevlucht genomen tot het schrijven van gebruiksregels op hun webpagina's die agressief schrapen verbieden. Helaas kunnen ze dit beleid niet afdwingen, en dus lijkt het probleem niet snel te verdwijnen.
Jaar geleden introduceerde eBay een API waarmee goede scrapers toegang hebben tot uw gegevens. Het houdt echter niet op dat het kwaadaardige oogsten van informatie wordt gebruikt voor concurrentievoordeel. De enige echte verdediging kan worden verkregen door gebruik te maken van technologie die niet-menselijke bezoekers naar uw website kan blokkeren. Hierdoor hebben de echte gebruikers toegang tot uw website terwijl ze de crawlers blokkeren om schade te veroorzaken.
Andere effectieve manieren waarop men schermschrapen kan bestrijden, zijn door het gebruik van technieken zoals IP-reputatiegebruik, spoofed IP-brondetectie, analyse van gedragsreacties voor aanvragen, analyse van real-time dreigingsniveaus en geolocatie. handhaving.
Post a comment
