# O que é Tokenizer?

É uma ferramenta que divide textos em pequenos pedaços numéricos que a inteligência artificial consegue compreender.

## Definição
Tokenizer é uma ferramenta básica que converte textos em peças numéricas que a IA pode processar. A inteligência artificial entende as palavras não como um todo, mas através dos equivalentes numéricos dessas partes.

## Como funciona
Quando o texto é inserido, o tokenizer o divide em pedaços chamados ‘tokens’. Esses tokens são então convertidos em vetores que a IA pode processar digitalmente.

## Onde é usado
É a porta de entrada para todos os principais modelos de linguagem. Depois que você começa a falar com um chatbot, tudo o que você digita é primeiro processado pelo tokenizer.

## Costuma ser confundido com
É simplesmente confundido com o separador de palavras; enquanto o tokenizer às vezes pode dividir uma palavra em várias partes e às vezes dividir várias palavras em um único token.

## Perguntas frequentes
**O que é um token?**
É a unidade de processamento do modelo; Geralmente é parte de uma palavra ou sinal de pontuação.

**Por que não usamos palavras diretas?**
Porque processar dados numéricos é muito mais rápido e eficiente do que lidar com a estrutura complexa das palavras.


## Termos relacionados
- [Token](/pt/dictionary/token/)
- [NLP](/pt/dictionary/nlp/)
- [Tokenizer-free](/pt/dictionary/tokenizer-free/)

## Ferramentas relacionadas
- [AI Engineering from Scratch](/pt/discover/ai-engineering-from-scratch/)

---
Fonte: TreScout Glossário · https://trescout.com/pt/dictionary/tokenizer/