Scraping da tela da Web: dicas úteis da Semalt
Atualmente, os dados podem se tornar seu bem mais importante. Como tal, nunca é uma boa idéia deixá-lo entrar nas mãos de seus concorrentes. No entanto, às vezes pode ser um desafio evitar isso devido à raspagem da tela. Esta é uma técnica que há anos foi usada para extrair dados de páginas da web.
Este método coloca dois problemas significativos para uma empresa. Em primeiro lugar, os dados podem ser usados para obter uma vantagem em relação a uma empresa, talvez por preços de subcotação, bem como obter informações sobre os produtos. Além disso, se for feito de forma persistente, a técnica também pode destruir o desempenho de um site.
Geralmente, a raspagem de tela é um conceito que foi criado por programas de emulação de terminal antecipados há algumas décadas. É uma técnica programática que extrai informações de telas projetadas principalmente para visualização por humanos. O programa pretende ser um ser humano e lê os dados, coletando informações valiosas e processando-o para armazenamento.
A técnica evoluiu significativamente ao longo dos anos, especialmente com a invenção dos rastreadores web. Ele evoluiu ainda mais com o desenvolvimento da raspagem de tela de e-retail, por exemplo, sites de comparação de preços. Esses sites empregar programas que visitam periodicamente o varejo eletrônico popular para obter os preços mais recentes, bem como informações de disponibilidade para um determinado produto ou serviço. Esse dado é armazenado em um banco de dados e usado para fornecer revisões comparativas da paisagem de varejo eletrônico.
A raspagem competitiva da tela tem uma variedade de impactos negativos nos sistemas de TI de uma empresa na medida em que é apenas outro exemplo de tráfego indesejado. Estudos recentes provaram que pelo menos 61% de todo o tráfego é gerado por bots. Esses bots consomem recursos vitais e largura de banda destinados a usuários genuínos da web, o que pode resultar em um aumento da taxa de latência para clientes reais.
A raspagem da tela tem acontecido há muito tempo. No entanto, não é até Mais recentemente, as vítimas desse comportamento começam a reagir. Alguns alegaram práticas comerciais injustas e violação de direitos autorais, enquanto as empresas que fazem a raspagem se defendem alegando a liberdade de informação.
Muitos proprietários de sites recorreram à redação de políticas de uso em suas páginas da web que proíbem a raspagem agressiva. Infelizmente, eles não podem aplicar essas políticas e, portanto, o problema não parece desaparecer em breve.
Anos atrás, o eBay introduziu uma API que permite que bons raspadores acessem seus dados. No entanto, não impede a colheita maliciosa de informações para serem usadas para obter vantagens competitivas. A única defesa real pode ser obtida usando tecnologia que pode bloquear visitantes não humanos em seu site. Isso permite que os usuários reais acessem seu site enquanto bloqueiam os rastreadores de causar danos.
Outras formas efetivas em que se pode combater a raspagem da tela são através do uso de técnicas como inteligência de reputação de IP, detecção de fontes de IP falsas, análise de comportamento de solicitação-resposta, avaliação de nível de ameaça em tempo real e localização geográfica execução.
Post a comment