O que é Web Crawlers?
São bots de software que navegam automaticamente pelas páginas da internet e registram dados.
Definição
Eles formam a base dos mecanismos de busca. Ao seguir links em uma página, eles saltam para outras páginas e indexam tudo o que veem, criando um banco de dados gigantesco. Podem ser pensados como viajantes digitais que mapeiam a internet.
Como funciona
Eles começam com uma lista inicial específica. Leem os textos, imagens e links da página e os processam em seu próprio banco de dados, continuando então a avançar em direção aos novos links encontrados.
Onde é usado
São usados na indexação de mecanismos de busca, projetos de coleta de dados e sites de comparação de preços.
Costuma ser confundido com
Podem ser confundidos com web scraping; o crawler navega por toda a rede, enquanto o scraper extrai dados de uma página específica.
Perguntas frequentes
Eles podem navegar em qualquer site?
Os proprietários de sites podem determinar quais partes os bots podem ou não navegar através do arquivo 'robots.txt'.
Termos relacionados
Esta explicação foi escrita em linguagem simples para a TreScout e traduzida automaticamente do original em turco · a versão turca é a que vale. Se algo parecer errado ou faltando, escreva para hello@trescout.com. Ler em turco →