O que é Quantization?
É um processo de redução de tamanho para tornar os modelos de inteligência artificial mais leves e rápidos.
Definição
A quantização é o processo de redução do tamanho dos dados numéricos dentro de enormes modelos de inteligência artificial, reduzindo sua precisão. Dessa forma, os modelos podem rodar em dispositivos menos equipados usando muito menos memória.
Como funciona
Os pesos no modelo são geralmente números decimais de alta precisão. A quantização os arredonda para números inteiros mais simples. Este processo reduz significativamente a pegada do modelo, ao mesmo tempo que causa uma perda muito pequena na sua inteligência.
Onde é usado
É usado para executar modelos grandes em telefones celulares ou computadores pessoais (auto-hospedagem).
Costuma ser confundido com
Confunde-se com treinamento do modelo, mas é um processo de otimização realizado após o treinamento.
Perguntas frequentes
A inteligência do modelo diminui?
Cai muito pouco, mas o ganho de velocidade e eficiência costuma valer a pena.
Todo modelo pode ser quantizado?
Sim, pode ser implementado em quase todos os principais modelos de linguagem.
Termos relacionados
Esta explicação foi escrita em linguagem simples para a TreScout e traduzida automaticamente do original em turco · a versão turca é a que vale. Se algo parecer errado ou faltando, escreva para hello@trescout.com. Ler em turco →