Qu'est-ce que Token ?
Il s’agit de la plus petite unité de signification utilisée par l’intelligence artificielle pour traiter les textes.
Définition
Ce sont les particules les plus élémentaires que l’intelligence artificielle utilise pour traiter le langage. Un mot, une syllabe ou un signe de ponctuation correspond à un code numérique dans l'univers du modèle.
Comment ça marche
Avant de lire le texte, le modèle le décompose en petits morceaux. Grâce à ces éléments, l’intelligence artificielle peut calculer mathématiquement la structure du langage et les relations entre les mots.
Où est-ce utilisé
Il est utilisé dans les calculs de coûts et les mesures de vitesse des modèles d’intelligence artificielle. La quantité de texte qu'un modèle peut traiter ou la rapidité avec laquelle il répond est déterminée par le nombre de jetons.
Souvent confondu avec
Il est confondu avec le nombre de mots, mais les jetons peuvent parfois faire partie d'un mot ou simplement d'un espace.
Questions fréquentes
Environ combien de mots représentent 1 000 jetons ?
Généralement, dans les textes anglais, 1 000 jetons correspondent à environ 750 mots.
Pourquoi utilisons-nous des jetons ?
Puisque les ordinateurs comprennent les nombres et non les mots, nous devons convertir le texte dans un format mathématique.
Termes liés
Outils liés
This explanation was written in plain language for TreScout · translated from the Turkish original. If something looks wrong or missing, write to hello@trescout.com. Read in Turkish →