Serveur IA pour ordinateurs Mac
Omlx est un serveur d'inférence LLM (Large Language Model) qui prend en charge le traitement par lots continu et la mise en cache SSD pour les processeurs Apple Silicon. Cet outil, géré via la barre de menu macOS, offre la possibilité d'exécuter des modèles performants sur du matériel local.
Mises à jour
- 31 août 2026: Étoiles 20,793 → 21,147, dernière version v0.6.4 (29 août 2026).
- 27 août 2026: Étoiles 20,069 → 20,793, dernière version v0.6.3rc3 (24 août 2026).
- 20 août 2026: Étoiles 19,758 → 20,069, dernière version v0.6.3rc2 (20 août 2026).
- 19 août 2026: Étoiles 19,519 → 19,758, dernière version v0.6.3rc1 (19 août 2026).
Ce que ça vous apporte
- Exécution de modèles hautes performances sur des processeurs Apple Silicon
- Gestion efficace de la mémoire avec mise en cache SSD
- Contrôle facile du serveur depuis la barre de menu
Installation
brew tap jundot/omlx https://github.com/jundot/omlx
brew install jundot/omlx/omlxExécution
omlx startSi vous ne codez pas
Je gère de grands modèles de langage via mon serveur oMLX fonctionnant sur mon matériel Apple Silicon local. Recommandez les meilleurs paramètres de configuration qui me permettront d'optimiser l'utilisation de la mémoire et d'améliorer les performances du modèle à l'aide de l'empilement continu et de la mise en cache SSD. Expliquez également comment je peux utiliser le cache KV le plus efficacement possible lors du basculement entre mes modèles actuels.
Termes liés du glossaire
Liens
TreScout n'a pas développé cet outil · nous l'avons repéré dans les tendances GitHub et présenté. Cette page décrit le dépôt tel qu'il était le 2026-08-18 : Le nombre d'étoiles et notre texte datent de ce jour, le dépôt a pu changer depuis. Consultez le lien du dépôt pour l'état actuel. Cette page a été traduite automatiquement depuis l’original turc · la version turque fait foi.