Préparer les données Web pour l'IA
Crawl4AI ; est un robot d'exploration et un grattoir Web open source optimisé pour les grands modèles de langage. Il convertit les pages Web dans des formats propres et structurés (Markdown, etc.) que les modèles d'intelligence artificielle peuvent facilement traiter.
Mises à jour
- 14 octobre 2026: Étoiles 84,312 → 85,514, dernière version v0.9.5 (14 octobre 2026).
- 27 septembre 2026: Étoiles 80,563 → 84,312, dernière version v0.9.4 (23 septembre 2026).
- 31 août 2026: Étoiles 75,853 → 80,563, dernière version v0.9.3 (31 août 2026).
- 2 août 2026: Étoiles 67,194 → 75,853, dernière version v0.9.2 (15 juillet 2026).
Ce que ça vous apporte
- Il convertit le contenu Web dans un format propre et convivial pour l'IA.
- Spécialement optimisé pour les processus LLM.
- C'est rapide et open source.
Installation
pip install crawl4aiExécution
crawl4ai-downloadInstallation (commande unique)
Aidez-moi à installer le robot d'exploration Web open source appelé Crawl4AI ; Essayons-le en l'installant avec 'pip install -U crawl4ai', puis en exécutant 'crawl4ai-setup' et en convertissant une page Web en Markdown compatible LLM avec la commande 'crwl https://www.nbcnews.com/business -o markdown'.
Dépôt : https://github.com/unclecode/crawl4ai. Base-toi sur les instructions officielles du fichier README de ce dépôt pour l'installation et l'exécution.
Avant de commencer, vérifie quel système d'exploitation nous utilisons et si les outils nécessaires (ex: Python, Node.js, Git, Docker) sont installés. Installe ceux qui manquent étape par étape selon ce système.
Crée un nouveau dossier vide pour travailler. Ne touche pas aux fichiers en dehors de ce dossier et ne supprime rien. Avant chaque commande, décris ce que tu vas faire en une phrase.
Dis-moi ce que je devrais voir à l'écran à la fin de chaque étape. Si une erreur survient, je te copierai le message d'erreur tel quel et nous la corrigerons ensemble.
Termes liés du glossaire
Liens
TreScout n'a pas développé cet outil · nous l'avons repéré dans les tendances GitHub et présenté. Cette page décrit le dépôt tel qu'il était le 2026-05-29 : Le nombre d'étoiles et notre texte datent de ce jour, le dépôt a pu changer depuis. Consultez le lien du dépôt pour l'état actuel. Le texte de présentation a été préparé avec l’IA à partir de la propre documentation du dépôt et cette page a été traduite automatiquement depuis l’original turc · la version turque fait foi.