# O que é Token?

É a menor unidade de significado que a inteligência artificial utiliza para processar textos.

## Definição
São as partículas mais básicas que a inteligência artificial usa para processar a linguagem. Uma palavra, sílaba ou sinal de pontuação corresponde a um código numérico no mundo do modelo.

## Como funciona
Antes de ler o texto, a modelo o divide em pequenos pedaços. Graças a essas partes, a inteligência artificial pode calcular matematicamente a estrutura da linguagem e as relações entre as palavras.

## Onde é usado
É utilizado em cálculos de custos e medições de velocidade de modelos de inteligência artificial. A quantidade de texto que um modelo pode processar ou a rapidez com que ele responde é determinada pelo número de tokens.

## Costuma ser confundido com
É confundido com contagem de palavras, mas às vezes os tokens podem fazer parte de uma palavra ou apenas um espaço.

## Perguntas frequentes
**Aproximadamente quantas palavras equivalem a 1000 tokens?**
Geralmente, em textos em inglês, 1.000 tokens correspondem a aproximadamente 750 palavras.

**Por que usamos tokens?**
Como os computadores entendem números e não palavras, precisamos converter o texto em um formato matemático.


## Termos relacionados
- [Tokenizer](/pt/dictionary/tokenizer/)
- [LLM](/pt/dictionary/llm/)
- [Context Window](/pt/dictionary/context-window/)

## Ferramentas relacionadas
- [Ponytail](/pt/discover/ponytail/)
- [Caveman](/pt/discover/caveman/)
- [OmniRoute](/pt/discover/omniroute/)
- [Codebase Memory MCP](/pt/discover/codebase-memory-mcp/)
- [Code Review Graph](/pt/discover/code-review-graph/)
- [Book to Skill](/pt/discover/book-to-skill/)
- [TencentDB-Agent-Memory](/pt/discover/tencentdb-agent-memory/)
- [Open Code Review](/pt/discover/open-code-review/)

---
Fonte: TreScout Glossário · https://trescout.com/pt/dictionary/token/