O que é Token?
É a menor unidade de significado que a inteligência artificial utiliza para processar textos.
Definição
São as partículas mais básicas que a inteligência artificial usa para processar a linguagem. Uma palavra, sílaba ou sinal de pontuação corresponde a um código numérico no mundo do modelo.
Como funciona
Antes de ler o texto, a modelo o divide em pequenos pedaços. Graças a essas partes, a inteligência artificial pode calcular matematicamente a estrutura da linguagem e as relações entre as palavras.
Onde é usado
É utilizado em cálculos de custos e medições de velocidade de modelos de inteligência artificial. A quantidade de texto que um modelo pode processar ou a rapidez com que ele responde é determinada pelo número de tokens.
Costuma ser confundido com
É confundido com contagem de palavras, mas às vezes os tokens podem fazer parte de uma palavra ou apenas um espaço.
Perguntas frequentes
Aproximadamente quantas palavras equivalem a 1000 tokens?
Geralmente, em textos em inglês, 1.000 tokens correspondem a aproximadamente 750 palavras.
Por que usamos tokens?
Como os computadores entendem números e não palavras, precisamos converter o texto em um formato matemático.
Termos relacionados
Ferramentas relacionadas
Esta explicação foi escrita em linguagem simples para a TreScout e traduzida automaticamente do original em turco · a versão turca é a que vale. Se algo parecer errado ou faltando, escreva para hello@trescout.com. Ler em turco →