Semalt: 3 passos para a página da página PHP Scraping
A raspagem da Web, também chamada de extração de dados da Web ou de colheita na web, é a processo de extração de dados de um site ou blog. Esta informação é usada para definir meta-tags, meta-descrições, palavras-chave e links para um site, melhorando seu desempenho geral nos resultados do mecanismo de busca.
Duas técnicas principais são usadas para raspar dados:
- Parsing do documento - Envolve um documento XML ou HTML que é convertido nos arquivos DOM (Document Object Model). O PHP fornece-nos uma excelente extensão DOM.
- Expressões regulares - É uma maneira de raspar dados dos documentos da Web na forma de expressões regulares.
O problema com os dados de raspagem de um site de terceiros está relacionado aos seus direitos autorais porque você não tem permissão para usar esses dados. Mas com o PHP, você pode facilmente raspar dados sem problemas relacionados com direitos autorais ou de baixa qualidade. Como um programador PHP, você pode precisar de dados de diferentes sites para fins de codificação. Aqui, explicamos como obter dados de outros sites de forma eficiente, mas antes disso, você deve ter em mente que, no final, você obterá arquivos index.php ou scrape.js.
Etapas1: Criar Formulário para inserir o URL do site:
Antes de tudo, você deve criar o formulário no index.php clicando no botão Enviar e digite o URL do site para raspar dados.
Etapas2: Crie a função PHP para obter dados do site:
O segundo passo é criar funções de função PHP no arquivo scrape.php como ele irá ajudar a obter dados e usar a biblioteca de URL. Ele também permitirá que você se conecte e se comunique com diferentes servidores e protocolos sem nenhum problema..
function scrapeSiteData ($ site_url) {
se (! Function_exists ('curl_init')) {
die ('CURL não está instalado. Instale e tente novamente. ');
}
$ curl = curl_init
;
curl_setopt ($ curl, CURLOPT_URL, $ website_url);
curl_setopt ($ curl, CURLOPT_RETURNTRANSFER, true);
$ output = curl_exec ($ curl);
curl_close ($ curl);
return $ saída;
}
Aqui, podemos ver se o PHP CURL foi instalado corretamente ou não. Três cURLs principais devem ser usados na área de funções e curl_init
irá ajudar a inicializar as sessões, curl_exec
irá executá-lo e curl_close
ajudará a fechar a conexão. As variáveis como CURLOPT_URL são usadas para definir os URLs do site que precisamos para raspar. O segundo CURLOPT_RETURNTRANSFER ajudará a armazenar as páginas raspadas na forma variável em vez da sua forma padrão, o que acabará por exibir toda a página da Web.
Etapas3: Raspar dados específicos do site:
É tempo para lidar com as funcionalidades do seu arquivo PHP e raspar a seção específica da sua página da web. Se você não quer todos os dados de um URL específico, você deve editar use as variáveis CURLOPT_RETURNTRANSFER e destaque as seções que deseja raspar.
if (isset ($ _ POST ['submit'])) {
$ html = scrapeWebsiteData ($ _ POST ['site_url']);
$ start_point = strpos ($ html, 'Últimas postagens');
$ end_point = strpos ($ html, '', $ start_point);
$ length = $ end_point- $ start_point;
$ html = substr ($ html, $ start_point, $ length);
echo $ html;
}
Sugerimos que você desenvolva o conhecimento básico de PHP e as Expressões regulares antes de usar qualquer um desses códigos ou raspar um blog ou site específico para pessoal propósitos.
Post a comment
