34 ücretsiz LLM sağlayıcısını tek API'de birleştirin

Güncelleme

• 26 Ekim 2026: Yıldız 40.353 → 41.667, son sürüm v0.16.10 (25 Ekim 2026).
• 24 Ekim 2026: Yıldız 39.822 → 40.353, son sürüm v0.16.9 (23 Ekim 2026).
• 23 Ekim 2026: Yıldız 38.660 → 39.822, son sürüm v0.16.8 (23 Ekim 2026).
• 21 Ekim 2026: Yıldız 38.000 → 38.660, son sürüm v0.16.7 (21 Ekim 2026).

Ne kazandırır?

• 34 ücretsiz model sağlayıcısı: Google Gemini, Groq, Cloudflare Workers AI ve Hugging Face dahil onlarca ücretsiz sağlayıcıya tek noktadan erişim.
• OpenAI REST API uyumluluğu: /v1/chat/completions uç noktası sayesinde LangChain, LlamaIndex ve mevcut yapay zekâ uygulamalarıyla kod değiştirmeden çalışma.
• Akıllı yönlendirme ve arıza kurtarma: Bir sağlayıcı hız sınırına (rate limit) ulaştığında veya hata verdiğinde otomatik olarak alternatif sağlayıcıya geçiş.
• Streaming (Server-Sent Events) desteği: Model çıktılarını gerçek zamanlı kelime kelime akış olarak alabilme imkânı.
• Hafif ve kolay dağıtım: Docker veya Node.js ile saniyeler içinde yerel bilgisayarda ya da sunucuda ayağa kaldırılabilen mimari.

Kurulum

git clone https://github.com/tashfeenahmed/freellmapi.git
cd freellmapi
npm install

Çalıştırma

npm start
# OpenAI uyumlu istek:
curl http://localhost:3000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"gpt-4o-mini","messages":[{"role":"user","content":"Merhaba!"}]}'

Teknik mimari ve çalışma prensibi

FreeLLMAPI, istemciden gelen OpenAI formatındaki istekleri sağlayıcıya özel imzalara çeviren bir ters proxy katmanı uygular:

• Sağlayıcı Adaptör Katmanı: Farklı REST ve WebSocket API'lerini ortak bir JSON yanıt formatında normalize eden genişletilebilir mimari.
• Dinamik Yük Dengeleme ve Kota İzleme: Her sağlayıcının anlık hız sınırlarını izleyerek istekleri en hızlı yanıt veren aktif modele yönlendirme.
• Yerleşik Önbellek ve Hata Yönetimi: Tekrarlanan sorguları önbelleğe alıp zaman aşımlarında otomatik yeniden deneme (retry) mekanizması.

Model yönlendirme ve arıza toleransı mekanizması

Geliştiriciler FreeLLMAPI ile maliyet oluşturmadan üretim ortamına yakın testler gerçekleştirebilir:

• Çoklu Model Karşılaştırma: Aynı kullanıcı girdisini farklı açık kaynak modellerine göndererek yanıt kalitesini ve gecikme sürelerini ölçümleyin.
• Geliştirme ve Prototipleme Aşamasında Tasarruf: Ücretli API anahtarları tanımlamadan yapay zekâ destekli prototipleri ve MVP projelerini hızlıca ayağa kaldırın.
• Yedekleme Stratejisi (Fallback Pipeline): Birincil sağlayıcı kapandığında sisteminizin kesintiye uğramadan ikincil modellere yönlenmesini sağlayın.

Kod bilmiyorsanız

Sıkça sorulan sorular

• FreeLLMAPI kullanmak için API anahtarı satın almam gerekir mi? Hayır. Sistem, ücretsiz katman sunan veya kamuya açık ücretsiz çıkarım sağlayan 34 yapay zekâ modelini bir araya getirir.
• Hangi büyük dil modelleri destekleniyor? Llama 3, Mistral, Gemma, Claude benzeri açık ağırlıklı modeller ve Google Gemini ücretsiz katmanı gibi popüler modeller desteklenmektedir.
• Kurumsal gizlilik için uygun mudur? FreeLLMAPI açık kaynaklıdır ve yerel ağınızda çalışır, ancak arkadaki ücretsiz sağlayıcıların kendi kullanım şartları ve gizlilik politikaları geçerlidir.
• LangChain veya CrewAI ile uyumlu mudur? Evet. Tam bir OpenAI REST API emülasyonu sağladığı için baseURL adresini localhost:3000/v1 yaparak tüm LLM çatılarıyla doğrudan kullanılabilir.

Bağlantılar

• GitHub deposu →

İlgili sözlük terimleri