Prepare dados da web para IA
Crawl4AI; é um rastreador e raspador da web de código aberto otimizado para modelos de linguagem grandes. Ele converte páginas da web em formatos limpos e estruturados (Markdown, etc.) que os modelos de inteligência artificial podem processar facilmente.
Atualizações
- 14 de outubro de 2026: Estrelas 84,312 → 85,514, versão mais recente v0.9.5 (14 de outubro de 2026).
- 27 de setembro de 2026: Estrelas 80,563 → 84,312, versão mais recente v0.9.4 (23 de setembro de 2026).
- 31 de agosto de 2026: Estrelas 75,853 → 80,563, versão mais recente v0.9.3 (31 de agosto de 2026).
- 2 de agosto de 2026: Estrelas 67,194 → 75,853, versão mais recente v0.9.2 (15 de julho de 2026).
O que você ganha
- Ele converte o conteúdo da web em um formato limpo e compatível com IA.
- Especialmente otimizado para processos LLM.
- É rápido e de código aberto.
Instalação
pip install crawl4aiExecução
crawl4ai-downloadInstalação (comando único)
Ajude-me a instalar o rastreador da web de código aberto chamado Crawl4AI; Vamos tentar instalá-lo com 'pip install -U crawl4ai', executando 'crawl4ai-setup' e convertendo uma página da web em Markdown compatível com LLM com o comando 'crwl https://www.nbcnews.com/business -o markdown'.
Repositório: https://github.com/unclecode/crawl4ai. Baseie-se nas instruções oficiais no arquivo README deste repositório para a instalação e execução.
Antes de começar, verifique em qual sistema operacional estamos e se as ferramentas necessárias (ex: Python, Node.js, Git, Docker) estão instaladas. Instale as que faltarem passo a passo de acordo com este sistema.
Crie uma pasta nova e vazia para trabalhar. Não toque em arquivos fora desta pasta e não exclua nada. Antes de executar cada comando, diga o que você vai fazer em uma frase.
Diga-me o que devo ver na tela ao final de cada etapa. Se ocorrer um erro, colarei a mensagem de erro para você exatamente como ela é, e vamos corrigi-la juntos.
Termos relacionados do glossário
Links
A TreScout não desenvolveu esta ferramenta · nós a encontramos nas tendências do GitHub e a apresentamos. Esta página descreve o repositório em 2026-05-29: A contagem de estrelas e o nosso texto são daquele dia, o repositório pode ter mudado desde então. Consulte o link do repositório para ver o estado atual. O texto de apresentação foi preparado com IA a partir da própria documentação do repositório e esta página foi traduzida automaticamente do original em turco · a versão turca é a que vale.