O que é Distillation?
É o processo de transferência das informações de um modelo grande e complexo de inteligência artificial para um modelo menor.
Definição
A destilação é o processo de transferência das informações de um modelo de inteligência artificial muito grande e complexo para um modelo menor e mais eficiente. Este método permite obter resultados próximos ao desempenho de modelos gigantes gastando menos recursos.
Como funciona
O modelo maior atua como professor e verifica as previsões do modelo menor. O pequeno modelo se torna um especialista com o tempo, aprendendo a produzir resultados que se assemelham às respostas do professor.
Onde é usado
É preferível obter resultados rápidos e eficazes em locais onde modelos grandes não cabem, como smartphones ou dispositivos de baixo custo.
Costuma ser confundido com
É confundido com quantização; Mas enquanto a quantização comprime os pesos do modelo, a destilação envolve o treinamento de um modelo menor e inteiramente novo.
Perguntas frequentes
O modelo menor terá tanto sucesso quanto o modelo maior?
Geralmente há alguma perda de desempenho, mas a velocidade e a vantagem de custo compensam essa perda.
Todo modelo pode ser destilado?
Sim, mas encaixar o conhecimento de modelos complexos em uma estrutura pequena exige um processo de treinamento muito difícil.
Termos relacionados
Esta explicação foi escrita em linguagem simples para a TreScout e traduzida automaticamente do original em turco · a versão turca é a que vale. Se algo parecer errado ou faltando, escreva para hello@trescout.com. Ler em turco →