Servidor AI para computadores Mac
Omlx é um servidor de inferência de modelo de linguagem grande (LLM) que oferece suporte a lote contínuo e cache SSD para processadores Apple Silicon. Esta ferramenta, gerenciada pela barra de menu do macOS, oferece a oportunidade de executar modelos de alto desempenho em hardware local.
Atualizações
- 31 de agosto de 2026: Estrelas 20,793 → 21,147, versão mais recente v0.6.4 (29 de agosto de 2026).
- 27 de agosto de 2026: Estrelas 20,069 → 20,793, versão mais recente v0.6.3rc3 (24 de agosto de 2026).
- 20 de agosto de 2026: Estrelas 19,758 → 20,069, versão mais recente v0.6.3rc2 (20 de agosto de 2026).
- 19 de agosto de 2026: Estrelas 19,519 → 19,758, versão mais recente v0.6.3rc1 (19 de agosto de 2026).
O que você ganha
- Executando modelos de alto desempenho em processadores Apple Silicon
- Gerenciamento eficiente de memória com cache SSD
- Fácil controle do servidor na barra de menu
Instalação
brew tap jundot/omlx https://github.com/jundot/omlx
brew install jundot/omlx/omlxExecução
omlx startSe você não programa
Eu gerencio grandes modelos de linguagem por meio de meu servidor oMLX executado em meu hardware Apple Silicon local. Recomendo as melhores definições de configuração que me permitirão otimizar o uso da memória e melhorar o desempenho do modelo usando empilhamento contínuo e cache SSD. Além disso, explique como posso usar o cache KV com mais eficiência ao alternar entre meus modelos atuais.
Termos relacionados do glossário
Links
A TreScout não desenvolveu esta ferramenta · nós a encontramos nas tendências do GitHub e a apresentamos. Esta página descreve o repositório em 2026-08-18: A contagem de estrelas e o nosso texto são daquele dia, o repositório pode ter mudado desde então. Consulte o link do repositório para ver o estado atual. Esta página foi traduzida automaticamente do original em turco · a versão turca é a que vale.