¿Qué es Inference Framework?

Definición

Un marco de inferencia (inference framework) es una capa de software y biblioteca que optimiza la generación de resultados a partir de nuevos datos mediante modelos de aprendizaje profundo o modelos de lenguaje grande ya entrenados. Distribuye los pesos del modelo de la manera más óptima a los aceleradores de hardware (GPU, TPU, etc.) y equilibra el uso de memoria. Herramientas populares como vLLM, TensorRT-LLM y TGI pertenecen a esta categoría.

Cómo funciona

Cuando el modelo se transfiere a la memoria, los pesos se optimizan y las estructuras como la caché KV se gestionan con algoritmos de memoria inteligentes. Las múltiples solicitudes de usuario simultáneas se combinan mediante el método de procesamiento por lotes continuo (continuous batching) y se envían a los núcleos del procesador. De este modo, los tiempos de espera del hardware se reducen al mínimo y se multiplica el número de tokens generados por segundo.

Dónde se usa

Se utiliza al configurar servicios de API de inteligencia artificial, al ejecutar modelos de código abierto en servidores locales y cuando se desea reducir los costos de los servidores.

Suele confundirse con

Se suele confundir con los marcos de entrenamiento (PyTorch, TensorFlow, etc.); mientras que los marcos de entrenamiento se centran en el aprendizaje de pesos y la propagación hacia atrás, los marcos de inferencia simplemente maximizan la velocidad de respuesta de un modelo ya preparado.

Preguntas y respuestas

Términos relacionados

Herramientas relacionadas