Qu'est-ce que Weights ?

Définition

Ce sont d'immenses tableaux de chiffres représentant la force des connexions synaptiques dans le cerveau d'un modèle d'intelligence artificielle. Pendant l'entraînement du modèle, ces chiffres sont constamment mis à jour, ce qui permet de déterminer l'importance de chaque information. C'est dans ces valeurs que réside le véritable savoir accumulé qui permet au modèle de prendre une entrée et de produire une sortie correcte.

Comment ça marche

Pendant que le modèle est entraîné sur des millions de données, chaque fois qu'il commet une erreur, ces valeurs numériques sont ajustées de petites quantités. Une fois l'entraînement terminé, ces valeurs sont fixées et le modèle répond désormais aux nouvelles questions en s'appuyant sur ces chiffres optimisés.

Où est-ce utilisé

Dans les fichiers des grands modèles de langage, c'est-à-dire les LLM, qui peuvent être téléchargés et exécutés sur un ordinateur, par exemple dans les formats GGUF, ce sont directement ces données numériques qui se trouvent là.

Souvent confondu avec

On les confond souvent avec l'architecture du modèle. L'architecture est comme le plan des pièces d'un bâtiment vide, tandis que les poids sont les meubles placés à l'intérieur de ces pièces qui rendent le bâtiment habitable.

Questions et réponses

Termes liés