← Descubrir
GitHub · unclecode/crawl4ai↑ +154 hoy

Prepare datos web para IA

Crawl4AI; es un rastreador y raspador web de código abierto optimizado para modelos de lenguaje grandes. Convierte páginas web en formatos limpios y estructurados (Markdown, etc.) que los modelos de inteligencia artificial pueden procesar fácilmente.

Actualizaciones

  • 14 de octubre de 2026: Estrellas 84,312 → 85,514, última versión v0.9.5 (14 de octubre de 2026).
  • 27 de septiembre de 2026: Estrellas 80,563 → 84,312, última versión v0.9.4 (23 de septiembre de 2026).
  • 31 de agosto de 2026: Estrellas 75,853 → 80,563, última versión v0.9.3 (31 de agosto de 2026).
  • 2 de agosto de 2026: Estrellas 67,194 → 75,853, última versión v0.9.2 (15 de julio de 2026).

Qué aporta

  • Convierte el contenido web a un formato limpio y compatible con la IA.
  • Especialmente optimizado para procesos LLM.
  • Es rápido y de código abierto.

Instalación

pip (PyPI)
pip install crawl4ai

Ejecución

Escanear página web y preparar para IA
crawl4ai-download

Instalación (comando único)

Pegue esto en su agente (Claude Code · Codex · Antigravity)

Ayúdame a instalar un rastreador web de código abierto llamado Crawl4AI; Probémoslo instalándolo con 'pip install -U crawl4ai', luego ejecutando 'crawl4ai-setup' y convirtiendo una página web a Markdown compatible con LLM con el comando 'crwl https://www.nbcnews.com/business -o markdown'.

Repositorio: https://github.com/unclecode/crawl4ai. Sigue las instrucciones oficiales del archivo README de este repositorio para la instalación y ejecución.

Antes de empezar, comprueba en qué sistema operativo estamos y si las herramientas necesarias (ej. Python, Node.js, Git, Docker) están instaladas. Instala las que falten paso a paso según este sistema.

Crea una carpeta nueva y vacía para trabajar. No toques ningún archivo fuera de esta carpeta y no borres nada. Antes de ejecutar cada comando, dime qué vas a hacer en una frase.

Dime qué debería ver en la pantalla al final de cada paso. Si ocurre un error, te pegaré el mensaje de error tal cual y lo solucionaremos juntos.

Términos relacionados del glosario

MarkdownLLMOpen SourceArtificial Intelligence
Para quién esRecolectores de datos web para IA/datos
dificultadMedio · Pitón
Que ofertasRastreo y raspado web compatible con LLM
Requisito previopitón
TarifaGratis · código abierto (Apache-2.0)
Licencia: Apache-2.0 · puedes usarlo libremente, modificarlo, hacer uso comercial (también incluye protección por patente).

Enlaces

TreScout no desarrolló esta herramienta · la encontramos en las tendencias de GitHub y la presentamos. Esta página describe el repositorio tal como estaba el 2026-05-29: El número de estrellas y nuestro texto son de ese día, el repositorio puede haber cambiado desde entonces. Consulte el enlace del repositorio para ver el estado actual. El texto de presentación se preparó con IA a partir de la propia documentación del repositorio y esta página se tradujo automáticamente del original en turco · prevalece la versión turca.