# O que é Token Compression?

É um método técnico que permite que os modelos de inteligência artificial funcionem de forma mais rápida e eficiente, reduzindo a quantidade de dados que processam.

## Definição
A compactação de token torna os pequenos pedaços de dados chamados 'tokens' que a inteligência artificial usa ao processar textos mais condensados ​​e concisos. Desta forma, o modelo pode processar textos muito mais longos ou dados complexos utilizando menos memória. Essencialmente, é como um processo de compressão que descarta informações desnecessárias e mantém o que é importante.

## Como funciona
O modelo combina informações semelhantes ou sem importância durante o processamento de dados. Desta forma, o mecanismo de ‘atenção’ do modelo lida com menos dados e o tempo de processamento é reduzido.

## Onde é usado
É usado em grandes modelos de linguagem, projetos que exigem longas janelas de contexto e sistemas com restrições de hardware.

## Costuma ser confundido com
Pode ser confundido com Quantização; Embora a quantização reduza os pesos do modelo, a compactação de token comprime os próprios dados processados.

## Perguntas frequentes
**A compactação de token reduz a qualidade?**
Quando feito corretamente, não há perda de significado, mas a compactação excessiva pode fazer com que o modelo perca detalhes finos.

**Em que casos é necessário?**
É usado quando você precisa analisar documentos muito longos e o limite de memória do modelo é ultrapassado.


## Termos relacionados
- [Token](/pt/dictionary/token/)
- [Context Window](/pt/dictionary/context-window/)
- [Quantization](/pt/dictionary/quantization/)

---
Fonte: TreScout Glossário · https://trescout.com/pt/dictionary/token-compression/