Servidor de IA para computadoras Mac
Omlx es un servidor de inferencia de modelo de lenguaje grande (LLM) que admite procesamiento por lotes continuo y almacenamiento en caché SSD para procesadores Apple Silicon. Esta herramienta, administrada a través de la barra de menú de macOS, ofrece la oportunidad de ejecutar modelos de alto rendimiento en hardware local.
Actualizaciones
- 31 de agosto de 2026: Estrellas 20,793 → 21,147, última versión v0.6.4 (29 de agosto de 2026).
- 27 de agosto de 2026: Estrellas 20,069 → 20,793, última versión v0.6.3rc3 (24 de agosto de 2026).
- 20 de agosto de 2026: Estrellas 19,758 → 20,069, última versión v0.6.3rc2 (20 de agosto de 2026).
- 19 de agosto de 2026: Estrellas 19,519 → 19,758, última versión v0.6.3rc1 (19 de agosto de 2026).
Qué aporta
- Ejecutando modelos de alto rendimiento en procesadores Apple Silicon
- Gestión eficiente de la memoria con almacenamiento en caché SSD
- Fácil control del servidor desde la barra de menú
Instalación
brew tap jundot/omlx https://github.com/jundot/omlx
brew install jundot/omlx/omlxEjecución
omlx startSi no programa
Administro modelos de idiomas grandes a través de mi servidor oMLX que se ejecuta en mi hardware Apple Silicon local. Recomendar las mejores opciones de configuración que me permitirán optimizar el uso de la memoria y mejorar el rendimiento del modelo mediante el apilamiento continuo y el almacenamiento en caché SSD. Además, explique cómo puedo usar la caché KV de manera más eficiente al cambiar entre mis modelos actuales.
Términos relacionados del glosario
Enlaces
TreScout no desarrolló esta herramienta · la encontramos en las tendencias de GitHub y la presentamos. Esta página describe el repositorio tal como estaba el 2026-08-18: El número de estrellas y nuestro texto son de ese día, el repositorio puede haber cambiado desde entonces. Consulte el enlace del repositorio para ver el estado actual. Esta página se tradujo automáticamente del original en turco · prevalece la versión turca.