O que é Tokenizer?

1. Definição e o problema fundamental: Por que não usar palavras diretamente?

Grandes modelos de linguagem (GPT-4, Claude, Llama, etc.) não leem textos letra por letra ou palavra por palavra como os humanos. As redes neurais só conseguem operar com matrizes, tensores e números. Portanto, o texto deve primeiro ser convertido em números.

Historicamente, três abordagens diferentes foram testadas no processamento de linguagem natural (PLN):

1. Processamento Baseado em Caracteres: O texto é dividido letra por letra (l, i, v, r, o). O tamanho do vocabulário é muito pequeno (algumas centenas de caracteres), mas as frases tornam-se muito longas. Como a complexidade computacional do mecanismo de atenção (Self-Attention) na arquitetura Transformer aumenta com o quadrado do comprimento da sequência (O(N²)), a memória do modelo esgota-se rapidamente.
2. Processamento Baseado em Palavras: Cada palavra é tratada como uma unidade separada. No entanto, nesse caso, para cada sufixo de flexão, erro ortográfico e nova palavra no idioma, o dicionário dispara para milhões de entradas; cada palavra que não está no dicionário cai na etiqueta "desconhecida" (<unk> - Out of Vocabulary) e o modelo perde o significado.
3. Solução de Subpalavras (Subword): É o padrão moderno atual. Palavras usadas com frequência são mantidas como uma única unidade ("livro"), enquanto palavras raras ou derivadas são divididas em sub-raízes e sufixos significativos ("livro" + "aria"). Assim, um número infinito de palavras pode ser representado com um tamanho de vocabulário fixo entre 32.000 e 128.000.

2. Algoritmos de tokenização e suas lógicas matemáticas

Os principais algoritmos de tokenização no coração dos modelos de linguagem modernos são os seguintes:

• Byte Pair Encoding (BPE): Originalmente um algoritmo de compactação de dados, o BPE é hoje a base da série GPT e dos modelos Llama. Começa com todos os caracteres básicos do texto e combina iterativamente os pares de caracteres mais frequentes no corpus, adicionando-os ao vocabulário.
• WordPiece: Popularizado pela Google no modelo BERT, este método baseia-se na probabilidade em vez da frequência. Ao combinar pares, seleciona os subpartes de palavras que mais aumentam a pontuação de verossimilhança (likelihood) do modelo de linguagem nos dados de treino.
• SentencePiece e Byte-Fallback: Trata os espaços como um subcaractere especial e lida com o texto como um fluxo de bytes brutos. Ao encontrar qualquer caractere Unicode raro que não esteja no vocabulário, recorre diretamente aos bytes UTF-8 (Byte-Fallback), reduzindo o erro <unk> a zero.

3. O "Imposto do Tokenizador" (The Tokenizer Tax) em Turco

Mais de 85% dos dados de treinamento dos grandes modelos de linguagem estão em inglês. Isso faz com que o vocabulário do tokenizador seja preenchido predominantemente com raízes e palavras em inglês.

Em línguas aglutinativas e morfológicas ricas como o turco, isso cria um custo sério e uma desigualdade de contexto:

• A frase em inglês: "Artificial intelligence is transforming software engineering." equivale a cerca de 7 tokens.
• A frase "Yapay zekâ yazılım mühendisliğini dönüştürüyor." pode consumir de 14 a 16 tokens devido à fragmentação de sufixos.

Por esse motivo, os usuários de língua turca podem encaixar menos documentos na mesma janela de contexto e pagar o dobro aos serviços de API. Com o Llama 3 e o GPT-4o, o aumento do tamanho do vocabulário para mais de 128k melhorou significativamente a eficiência de tokens em turco.

4. Segurança e Casos Limite: Glitch Tokens

Tokens especiais que estão presentes no vocabulário do tokenizador, mas que aparecem raramente ou em contextos sem sentido no corpus de texto durante o pré-treinamento do modelo, são chamados de Glitch Tokens.

Por exemplo, quando tokens como SolidGoldMagikarp, derivados de nomes de usuário em fóruns do Reddit ou códigos em sites de e-commerce, são solicitados ao modelo, a inteligência artificial começa a alucinar, pode listar palavrões sem sentido ou travar, pois não consegue posicionar corretamente o vetor desse token no espaço de embedding.

Perguntas e respostas

Termos relacionados

Ferramentas relacionadas