# O que é Tokenizer-free?

Arquitetura de inteligência artificial que processa diretamente dados brutos sem quebrar os textos em pequenos pedaços.

## Definição
É uma arquitetura de inteligência artificial que processa diretamente dados brutos sem dividir os textos em pequenos pedaços (tokens). Essa abordagem visa compreender a estrutura da linguagem de forma mais natural e reduzir erros.

## Como funciona
O modelo renderiza diretamente texto ou dados no nível de caractere ou pixel. Como pula a fase de tokenização, pode funcionar independentemente dos limites do idioma.

## Onde é usado
É utilizado em modelos multilíngues, sistemas de processamento de voz e análise de dados que exigem alta precisão.

## Costuma ser confundido com
É confundido com modelos tradicionais baseados em tokens, mas este método é uma forma mais crua e direta de processamento de dados.

## Perguntas frequentes
**Corre mais rápido?**
A forma como funciona é diferente, às vezes mais lenta, mas pode oferecer uma capacidade de compreensão mais profunda.

**Por que nem todos os modelos são assim?**
Os sistemas baseados em tokens possuem atualmente uma infraestrutura muito mais otimizada e difundida.


## Termos relacionados
- [Tokenizer](/pt/dictionary/tokenizer/)
- [LLM](/pt/dictionary/llm/)
- [Multimodal](/pt/dictionary/multimodal/)
- [NLP](/pt/dictionary/nlp/)

## Ferramentas relacionadas
- [VoxCPM](/pt/discover/voxcpm/)

---
Fonte: TreScout Glossário · https://trescout.com/pt/dictionary/tokenizer-free/