Kişisel bilgisayarınızı yerel yapay zekâ sunucusuna dönüştürün
Açık kaynaklı Osmantic/ODS, kişisel donanımınız üzerinde çalışan yerel büyük dil modeli çıkarımı, vektör arama tabanlı RAG boru hatları ve otonom ajan iş akışları kurmanızı sağlar.
Güncelleme
- 27 Eylül 2026: Yıldız 5.181 → 6.854, son sürüm v3.0.0 (24 Eylül 2026).
Ne kazandırır?
- Tam veri gizliliği ve yerel yürütme: Verilerinizi harici bulut sunucularına göndermeden yerel GPU ve CPU üzerinde güvenli yapay zekâ işletimi.
- Entegre RAG (Arama Destekli Üretim): Kişisel notlarınızı, şirket belgelerinizi ve kod depolarınızı vektörize ederek anında anlamsal arama yapma.
- Çok modlu (Multimodal) yetenekler: Metin üretimi, konuşma tanıma (Whisper), ses sentezi ve görsel üretimi tek çatı altında buluşturma.
- OpenAI uyumlu yerel API: Mevcut yapay zekâ istemcilerinizi ve araçlarınızı tek bir URL değişikliğiyle yerel ODS sunucunuza yönlendirme.
- Kapsamlı ajan orkestrasyonu: Yerel araçları çağıran ve çok adımlı görevleri otonom olarak çözen akıllı ajan zincirleri.
Kurulum
git clone https://github.com/Osmantic/ODS.git
cd ODS
pip install -e .Çalıştırma
python -m ods.server --port 8000
# Web paneline http://localhost:8000 adresinden erişinKaynak: Resmî kaynak: https://github.com/Osmantic/ODS
Teknik mimari ve çalışma prensibi
Osmantic/ODS, modüler bir mikro-servis mimarisiyle model çıkarımını ve vektör dizinlemeyi koordine eder:
- Yerel Çıkarım Çekirdeği (llama.cpp & vLLM): GGUF ve saf GPU formatlarındaki modelleri minimum bellek ayak iziyle hızlıca yükleme ve çalıştırma.
- Gömülü Vektör Veritabanı: ChromaDB ve SQLite tabanlı hafif vektör saklama ile belgeleri parçalayıp (chunking) dizinleme.
- Görev Kuyruğu ve Ajan Durum Makinesi: Çok adımlı sorguları ve araç çağırma (tool calling) akışlarını yöneten asenkron işleyiciler.
Yerel RAG iş akışları ve özel ajan boru hatları
ODS, kurumsal veri gizliliğini koruyarak güçlü yapay zekâ entegrasyonları kurmayı mümkün kılar:
- Gizli Şirket Belgeleriyle Çalışma: Sözleşmeler, finansal tablolar ve kurum içi yazışmaları buluta çıkarmadan yerel RAG ile sorgulayın.
- Yerel Kod Analizi ve Geliştirme Asistanı: Özel yazılım projelerinizi indeksleyerek VS Code veya Cursor üzerinde yerel yapay zekâ kod tamamlaması sağlayın.
- Otonom Veri İşleme Ajanları: Yerel dosya sistemindeki raporları okuyup özetleyen ve format dönüştüren arka plan görevleri tanımlayın.
Kod bilmiyorsanız
Kişisel bilgisayarımda ODS sunucusunu kurarak şirketimin PDF belgelerini yerel vektör veritabanına nasıl aktaracağımı, ardından yerel bir Llama 3 modeli üzerinden bu belgelere dayalı RAG soru-cevap sorguları nasıl yapacağımı kod ve terminal adımlarıyla açıklar mısın?
Depo: https://github.com/Osmantic/ODS. Kurulum ve çalıştırmada bu deponun README dosyasındaki resmî talimatları esas al.
Başlamadan önce hangi işletim sisteminde çalıştığımızı ve gerekli araçların (ör. Python, Node.js, Git, Docker) kurulu olup olmadığını kontrol et; eksik olanları bu sisteme göre adım adım kur.
Çalışmak için yeni ve boş bir klasör oluştur. Bu klasörün dışındaki dosyalarıma dokunma, hiçbir şeyi silme. Her komutu çalıştırmadan önce ne yapacağını bir cümleyle söyle.
Her adımın sonunda ekranda ne görmem gerektiğini söyle. Bir hata oluşursa hata mesajını sana olduğu gibi yapıştıracağım, birlikte düzeltelim.
Sıkça sorulan sorular
- İnternet bağlantısı olmadan tamamen çevrimdışı çalışır mı? Evet. Gerekli model ağırlıkları indirildikten sonra ODS hiçbir ağ bağlantısına ihtiyaç duymadan tamamen çevrimdışı (air-gapped) ortamlarda çalışabilir.
- Hangi model formatlarını destekliyor? GGUF formatındaki tüm açık modelleri (Llama 3, Mistral, Qwen, DeepSeek) ve saf Hugging Face ağırlıklarını destekler.
- Web arayüzü mevcut mu? Evet. ODS yerleşik bir web paneli ile gelir; modelleri yönetebilir, dosya yükleyebilir ve sohbet oturumları açabilirsiniz.
- GPU olmadan yalnızca CPU ile çalışır mı? Evet. llama.cpp çekirdeği sayesinde AVX2/AVX-512 komut setlerini kullanarak saf CPU üzerinde de yüksek verimle çalışabilir.
Bağlantılar
TreScout bu aracı geliştirmedi · GitHub trendlerinde keşfedip Türkçe tanıttı. Tanıtım metni deponun kendi belgelerinden yapay zekâ ile hazırlandı. Bu sayfa deponun 2026-08-31 tarihindeki hâlini anlatır: Yıldız sayısı ve yazdığımız metin o güne aittir, depo sonrasında değişmiş olabilir. Güncel durum için depo bağlantısına bakın.