# O que é Distillation?

É o processo de transferência das informações de um modelo grande e complexo de inteligência artificial para um modelo menor.

## Definição
A destilação é o processo de transferência das informações de um modelo de inteligência artificial muito grande e complexo para um modelo menor e mais eficiente. Este método permite obter resultados próximos ao desempenho de modelos gigantes gastando menos recursos.

## Como funciona
O modelo maior atua como professor e verifica as previsões do modelo menor. O pequeno modelo se torna um especialista com o tempo, aprendendo a produzir resultados que se assemelham às respostas do professor.

## Onde é usado
É preferível obter resultados rápidos e eficazes em locais onde modelos grandes não cabem, como smartphones ou dispositivos de baixo custo.

## Costuma ser confundido com
É confundido com quantização; Mas enquanto a quantização comprime os pesos do modelo, a destilação envolve o treinamento de um modelo menor e inteiramente novo.

## Perguntas frequentes
**O modelo menor terá tanto sucesso quanto o modelo maior?**
Geralmente há alguma perda de desempenho, mas a velocidade e a vantagem de custo compensam essa perda.

**Todo modelo pode ser destilado?**
Sim, mas encaixar o conhecimento de modelos complexos em uma estrutura pequena exige um processo de treinamento muito difícil.


## Termos relacionados
- [SLM](/pt/dictionary/slm/)
- [Quantization](/pt/dictionary/quantization/)
- [Foundation Model](/pt/dictionary/foundation-model/)

---
Fonte: TreScout Glossário · https://trescout.com/pt/dictionary/distillation/