¿Qué es Web Crawlers?
Son robots de software que navegan automáticamente por páginas de Internet y registran datos.
Definición
Forman la base de los motores de búsqueda. Al seguir los enlaces de una página, saltan a otras páginas e indexan todo lo que ven, creando una enorme base de datos. Se les puede considerar como exploradores digitales que mapean Internet.
Cómo funciona
Comienzan con una lista de salida específica. Leen los textos, imágenes y enlaces de la página, los procesan en sus propias bases de datos y luego continúan avanzando hacia los nuevos enlaces que encuentran.
Dónde se usa
Se utiliza en indexación de motores de búsqueda, proyectos de recopilación de datos y sitios de comparación de precios.
Suele confundirse con
Se puede confundir con el web scraping; El rastreador rastrea toda la red, mientras que el raspador extrae datos de una página específica.
Preguntas frecuentes
¿Pueden visitar todos los sitios?
Los propietarios del sitio pueden determinar qué partes los robots pueden y no pueden visitar con el archivo 'robots.txt'.
Términos relacionados
Esta explicación se redactó en lenguaje sencillo para TreScout y se tradujo automáticamente del original en turco · prevalece la versión turca. Si algo le parece erróneo o incompleto, escriba a hello@trescout.com. Leer en turco →