Qu'est-ce que Inference Framework ?

Définition

Un framework d'inférence (inference framework) est une bibliothèque et une couche logicielle qui optimisent la production de résultats par des modèles d'apprentissage profond ou de grands modèles de langage sur de nouvelles données. Il distribue les poids du modèle de manière optimale sur les accélérateurs matériels (GPU, TPU, etc.) et équilibre l'utilisation de la mémoire. Des outils populaires tels que vLLM, TensorRT-LLM et TGI appartiennent à cette catégorie.

Comment ça marche

Lorsque le modèle est chargé en mémoire, les poids sont optimisés et les structures telles que le cache KV sont gérées par des algorithmes de mémoire intelligents. Plusieurs requêtes d'utilisateurs arrivant simultanément sont combinées grâce à la méthode du traitement par lots continu (continuous batching) et envoyées aux cœurs du processeur. Ainsi, les temps d'attente du matériel sont réduits au minimum et le nombre de jetons (tokens) générés par seconde est multiplié.

Où est-ce utilisé

Il est utilisé lors de la mise en place de services API d'intelligence artificielle, de l'exécution de modèles open-source sur des serveurs locaux et lorsque vous souhaitez réduire les coûts de serveur.

Souvent confondu avec

Il est confondu avec les frameworks d'entraînement (PyTorch, TensorFlow, etc.) ; alors que les frameworks d'entraînement se concentrent sur l'apprentissage des poids et la rétropropagation, les frameworks d'inférence maximisent uniquement la vitesse de réponse du modèle déjà prêt.

Questions et réponses

Termes liés

Outils liés