Semalt: Como usar o Python para raspar um site?

O melhor ponto de partida é baixar e instalar o Anaconda Python Distribution em sua máquina de computação. Você também pode fazer alguns tutoriais sobre os conceitos básicos desta linguagem de programação. O melhor lugar para iniciar pode ser Codecademy, especialmente se você não tem idéia neste campo.

Este guia usará o site de listagem atual do Polk Country para os internos. Vamos orientá-lo sobre como usar um script Python para extrair uma lista de presos e obter alguns dados como a cidade de residência e a raça para cada preso..Todo o script que vamos levá-lo é armazenado e aberto no GitHub. Esta é uma das plataformas online populares que permitem o compartilhamento de códigos de computador. Os códigos têm uma longa lista de comentários que podem ser de grande ajuda para você.

Ao raspar qualquer site, a primeira ferramenta a procurar é um navegador da Web. A maioria dos navegadores fornecerá aos usuários ferramentas de inspeção HTML que ajudem a levantar a escotilha do motor e chegar a entender a estrutura da página. A maneira como você acessa cada ferramenta varia de um navegador para outro. No entanto, o suporte principal é a "fonte da página de visualização, e você pode obtê-lo clicando com o botão direito na página diretamente.

Ao visualizar a fonte HTML da página, é aconselhável ordenar cuidadosamente os detalhes dos links para o preso nas linhas da tabela. O próximo passo é escrever um script que vamos usar para extrair essa informação. Os dois pacotes Python que vamos usar no processo de levantamento pesado são a bela Sopa e Solicitações. Certifique-se de instalá-los antes de começar a executar o código.

O script de raspagem da web fará três coisas. Estes incluem o carregamento das páginas de listagem e a extração de links para as páginas de detalhes, o carregamento de cada página de detalhes e a extração de dados e a impressão dos dados extraídos de acordo com a forma como é filtrada como a cidade de residência e a raça. Uma vez que você entende isso, o próximo passo é iniciar o processo de codificação, usando a bela sopa e solicitações.

Em primeiro lugar, carregue logicamente a página da lista de presos usando o URL requests.get e depois use a linda sopa para enviá-la. Depois disso, extraímos o link para as páginas de detalhes fazendo um loop por cada linha. Depois de analisar os detalhes do preso, o próximo passo é extrair sexo, idade, raça, tempo de reserva e valores de nome para o dicionário. Cada preso receberá seu dicionário e todos os dicionários serão anexados à lista do preso. Finalmente, controle os valores de corrida e cidade antes de imprimir sua lista.