# O que é Web Crawlers?

São bots de software que navegam automaticamente pelas páginas da internet e registram dados.

## Definição
Eles formam a base dos mecanismos de busca. Ao seguir links em uma página, eles saltam para outras páginas e indexam tudo o que veem, criando um banco de dados gigantesco. Podem ser pensados como viajantes digitais que mapeiam a internet.

## Como funciona
Eles começam com uma lista inicial específica. Leem os textos, imagens e links da página e os processam em seu próprio banco de dados, continuando então a avançar em direção aos novos links encontrados.

## Onde é usado
São usados na indexação de mecanismos de busca, projetos de coleta de dados e sites de comparação de preços.

## Costuma ser confundido com
Podem ser confundidos com web scraping; o crawler navega por toda a rede, enquanto o scraper extrai dados de uma página específica.

## Perguntas frequentes
**Eles podem navegar em qualquer site?**
Os proprietários de sites podem determinar quais partes os bots podem ou não navegar através do arquivo 'robots.txt'.


## Termos relacionados
- [Web Scraping](/pt/dictionary/web-scraping/)
- [Data Pipeline](/pt/dictionary/data-pipeline/)

---
Fonte: TreScout Glossário · https://trescout.com/pt/dictionary/web-crawlers/