¿Qué es LLM Inference?
El proceso mediante el cual un modelo de inteligencia artificial entrenado produce una respuesta a una pregunta que se le formula.
Definición
La inferencia se produce cuando un modelo de inteligencia artificial hace predicciones sobre una nueva entrada y produce resultados utilizando la información aprendida durante la fase de entrenamiento. Este proceso es el momento de "pensamiento" o "respuesta" del modelo. A diferencia de la fase de entrenamiento, aquí el modelo no aprende nada nuevo, simplemente aplica lo que sabe.
Cómo funciona
Se proporciona una entrada (solicitud) al modelo, el modelo procesa esta entrada con sus propios pesos internos y crea la respuesta adivinando la siguiente palabra más lógica. Este proceso requiere un cálculo muy rápido.
Dónde se usa
Se utiliza en tiempo de ejecución, llamadas API y pruebas de rendimiento de modelos de aplicaciones de inteligencia artificial.
Suele confundirse con
No debe confundirse con entrenar el modelo; La formación es el proceso de aprendizaje del modelo y la inferencia es el proceso de aplicación.
Preguntas frecuentes
¿El modelo continúa aprendiendo durante la inferencia?
No, la inferencia es sólo el proceso de utilizar información existente; no aprende nada nuevo.
¿Por qué es importante?
La velocidad y el costo de las aplicaciones dependen de la eficiencia con la que funcione el proceso de inferencia.
Términos relacionados
Herramientas relacionadas
Esta explicación se redactó en lenguaje sencillo para TreScout y se tradujo automáticamente del original en turco · prevalece la versión turca. Si algo le parece erróneo o incompleto, escriba a hello@trescout.com. Leer en turco →