# Qu'est-ce que Tokenizer ?

C'est un outil qui divise les textes en petits morceaux numériques que l'intelligence artificielle peut comprendre.

## Définition
Tokenizer est un outil de base qui convertit les textes en éléments numériques que l'IA peut traiter. L'intelligence artificielle comprend les mots non pas dans leur ensemble, mais à travers les équivalents numériques de ces parties.

## Comment ça marche
Lorsque du texte est saisi, le tokenizer le divise en morceaux appelés « jetons ». Ces jetons sont ensuite convertis en vecteurs que l’IA peut traiter numériquement.

## Où est-ce utilisé
C'est la passerelle vers tous les principaux modèles de langage. Une fois que vous commencez à parler à un chatbot, tout ce que vous tapez est d'abord traité par le tokenizer.

## Souvent confondu avec
Il est simplement confondu avec le mot briseur ; alors que le tokenizer peut parfois diviser un mot en plusieurs parties et parfois plusieurs mots en un seul jeton.

## Questions fréquentes
**Qu'est-ce qu'un jeton ?**
C'est l'unité de traitement du modèle ; Il s'agit généralement d'une partie d'un mot ou d'un signe de ponctuation.

**Pourquoi n'utilisons-nous pas de mots directs ?**
Parce que le traitement de données numériques est beaucoup plus rapide et efficace que le traitement de la structure complexe des mots.


## Termes liés
- [Token](/fr/dictionary/token/)
- [NLP](/fr/dictionary/nlp/)
- [Tokenizer-free](/fr/dictionary/tokenizer-free/)

## Outils liés
- [AI Engineering from Scratch](/fr/discover/ai-engineering-from-scratch/)

---
Source : TreScout Glossaire · https://trescout.com/fr/dictionary/tokenizer/