Qu'est-ce que Token ?
Il s’agit de la plus petite unité de signification utilisée par l’intelligence artificielle pour traiter les textes.
Définition
Ce sont les particules les plus élémentaires que l’intelligence artificielle utilise pour traiter le langage. Un mot, une syllabe ou un signe de ponctuation correspond à un code numérique dans l'univers du modèle.
Comment ça marche
Avant de lire le texte, le modèle le décompose en petits morceaux. Grâce à ces éléments, l’intelligence artificielle peut calculer mathématiquement la structure du langage et les relations entre les mots.
Où est-ce utilisé
Il est utilisé dans les calculs de coûts et les mesures de vitesse des modèles d’intelligence artificielle. La quantité de texte qu'un modèle peut traiter ou la rapidité avec laquelle il répond est déterminée par le nombre de jetons.
Souvent confondu avec
Il est confondu avec le nombre de mots, mais les jetons peuvent parfois faire partie d'un mot ou simplement d'un espace.
Questions fréquentes
Environ combien de mots représentent 1 000 jetons ?
Généralement, dans les textes anglais, 1 000 jetons correspondent à environ 750 mots.
Pourquoi utilisons-nous des jetons ?
Puisque les ordinateurs comprennent les nombres et non les mots, nous devons convertir le texte dans un format mathématique.
Termes liés
Outils liés
Cette explication a été rédigée en langage clair pour TreScout puis traduite automatiquement depuis l’original turc · la version turque fait foi. Si quelque chose vous semble erroné ou manquant, écrivez à hello@trescout.com. Lire en turc →