Moteur d'inférence rapide pour les modèles d'intelligence artificielle
lightseekorg/tokenspeed est un moteur d'inférence haute performance développé pour les grands modèles de langage (LLM). Écrit en Python, ce projet vise à accélérer les processus de prédiction des modèles d'intelligence artificielle.
Mises à jour
- 16 octobre 2026: Étoiles 2,608 → 2,613, dernière version v0.1.1 (6 octobre 2026).
Ce que ça vous apporte
- propose des plans de contrôle et d'exécution basés sur C++ et Python
- fonctionne à haute performance pour les grands modèles de langage
- comprend un mécanisme deプラグin pour les accélérateurs matériels
Pour commencer
Vous pouvez consulter les guides sur le site Web de LightSeek pour examiner la documentation officielle et commencer étape par étape.
Termes liés du glossaire
Liens
TreScout n'a pas développé cet outil · nous l'avons repéré dans les tendances GitHub et présenté. Cette page décrit le dépôt tel qu'il était le 2026-10-16 : Le nombre d'étoiles et notre texte datent de ce jour, le dépôt a pu changer depuis. Consultez le lien du dépôt pour l'état actuel. Le texte de présentation a été préparé avec l’IA à partir de la propre documentation du dépôt et cette page a été traduite automatiquement depuis l’original turc · la version turque fait foi.