# ¿Qué es Web Crawlers?

Son robots de software que navegan automáticamente por páginas de Internet y registran datos.

## Definición
Forman la base de los motores de búsqueda. Al seguir los enlaces de una página, saltan a otras páginas e indexan todo lo que ven, creando una enorme base de datos. Se les puede considerar como exploradores digitales que mapean Internet.

## Cómo funciona
Comienzan con una lista de salida específica. Leen los textos, imágenes y enlaces de la página, los procesan en sus propias bases de datos y luego continúan avanzando hacia los nuevos enlaces que encuentran.

## Dónde se usa
Se utiliza en indexación de motores de búsqueda, proyectos de recopilación de datos y sitios de comparación de precios.

## Suele confundirse con
Se puede confundir con el web scraping; El rastreador rastrea toda la red, mientras que el raspador extrae datos de una página específica.

## Preguntas frecuentes
**¿Pueden visitar todos los sitios?**
Los propietarios del sitio pueden determinar qué partes los robots pueden y no pueden visitar con el archivo 'robots.txt'.


## Términos relacionados
- [Web Scraping](/es/dictionary/web-scraping/)
- [Data Pipeline](/es/dictionary/data-pipeline/)

---
Fuente: TreScout Glosario · https://trescout.com/es/dictionary/web-crawlers/