# ¿Qué es Distillation?

Es el proceso de transferir la información de un modelo de inteligencia artificial grande y complejo a un modelo más pequeño.

## Definición
La destilación es el proceso de transferir la información de un modelo de inteligencia artificial muy grande y complejo a un modelo más pequeño y eficiente. Este método nos permite obtener resultados cercanos al rendimiento de modelos gigantes gastando menos recursos.

## Cómo funciona
El modelo más grande actúa como maestro y verifica las predicciones del modelo más pequeño. El pequeño modelo se convierte en un experto por sí solo con el tiempo y aprende a producir resultados que se asemejan a las respuestas del maestro.

## Dónde se usa
Se prefiere obtener resultados rápidos y efectivos en lugares donde no caben modelos grandes, como teléfonos inteligentes o dispositivos de gama baja.

## Suele confundirse con
Se confunde con la cuantización; Pero mientras la cuantificación comprime los pesos del modelo, la destilación implica entrenar un modelo completamente nuevo y más pequeño.

## Preguntas frecuentes
**¿El modelo más pequeño tendrá tanto éxito como el modelo más grande?**
Generalmente hay cierta pérdida de rendimiento, pero la velocidad y la ventaja de costos compensan esta pérdida.

**¿Se pueden destilar todos los modelos?**
Sí, pero encajar el conocimiento de modelos complejos en una estructura pequeña requiere un proceso de formación muy difícil.


## Términos relacionados
- [SLM](/es/dictionary/slm/)
- [Quantization](/es/dictionary/quantization/)
- [Foundation Model](/es/dictionary/foundation-model/)

---
Fuente: TreScout Glosario · https://trescout.com/es/dictionary/distillation/