← Entdecken
GitHub · danielfrg/omniroute↑ +215 heute

Konsolidieren Sie mehr als 230 KI-Anbieter in einem einzigen Gateway

OmniRoute ist ein Open-Source-Infrastrukturtool, das über 230 wichtige Sprachmodelle und KI-Anbieter in einem einzigen OpenAI-kompatiblen Endpunkt (API-Gateway) zusammenführt. Reduziert die KI-Kosten des Unternehmens durch automatisches Fallback, Lastausgleich und Token-Komprimierung.

Aktualisierungen

  • 14. September 2026: Sterne 62,672 → 65,889, neueste Version v3.8.50 (26. August 2026).
  • 8. September 2026: Sterne 59,514 → 62,672, neueste Version v3.8.50 (26. August 2026).
  • 1. September 2026: Sterne 56,571 → 59,514, neueste Version v3.8.50 (26. August 2026).
  • 27. August 2026: Sterne 53,963 → 56,571, neueste Version v3.8.50 (26. August 2026).

Was es bringt

  • Universelle API-Kompatibilität: Rufen Sie OpenAI-, Anthropic-, Gemini-, Mistral- und native Modelle von einem einzigen /v1/chat/completions-Endpunkt aus auf.
  • Intelligente Fehlerkompensation (Fallback): Leiten Sie Anfragen innerhalb von Millisekunden zum alternativen Modell um, wenn der Hauptanbieter an der Ratengrenze feststeckt oder ein Ausfall auftritt.
  • Token- und Kostenoptimierung: Vermeiden Sie unnötige Kontextaufblähungen und reduzieren Sie Ihre API-Ausgaben mit integrierten Prompt-Komprimierungsalgorithmen.
  • Umfassende Telemetrie und Beobachtbarkeit: Überwachen Sie anbieterübergreifende Reaktionszeiten, Fehlerraten und ausgegebenes Budget über ein einziges Dashboard.

Technische Architektur und Funktionsweise

OmniRoute funktioniert wie ein hocheffizienter Reverse-Proxy zwischen dem Kunden und den KI-Anbietern:

Installations- und Bereitstellungsschritte

Schneller Start mit Docker Compose
git clone https://github.com/danielfrg/omniroute.git
cd omniroute
cp .env.example .env
docker compose up -d
Testen Sie den Endpunkt
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "gpt-4o-mini", "messages": [{"role": "user", "content": "Merhaba!"}]}'

Aufforderung zur künstlichen Intelligenz für diejenigen, die nicht programmieren können

Fügen Sie dies in Ihren Agenten ein (Claude Code · Codex · Antigravity)

Bereiten Sie mithilfe des OmniRoute AI-Gateways eine Routing-Konfiguration vor, die OpenAI-, Anthropic- und native Ollama-Modelle umfasst. Erstellen Sie eine Fallback-Regel, die automatisch zum zweiten Modell wechselt, wenn das Hauptmodell nicht antwortet, und listen Sie die Schritte auf, um sie mit Docker Compose auszuführen.

Prüfe vor dem Start, unter welchem Betriebssystem wir arbeiten und ob die notwendigen Tools (z. B. Python, Node.js, Git, Docker) installiert sind. Installiere fehlende Tools schrittweise entsprechend diesem System.

Erstelle einen neuen, leeren Ordner für die Arbeit. Rühre keine Dateien außerhalb dieses Ordners an und lösche nichts. Sag mir vor jedem Befehl in einem Satz, was du tun wirst.

Sag mir, was ich am Ende jedes Schrittes auf dem Bildschirm sehen sollte. Wenn ein Fehler auftritt, füge ich die Fehlermeldung exakt so ein, wie sie ist, und wir beheben sie gemeinsam.

Wichtige Warnungen und Grenzwerte

  • API-Schlüsselsicherheit: Sichere API-Schlüssel in den Umgebungsvariablen des Gateway-Servers; Stellen Sie sicher, dass Sie beim Öffnen des Gateways zum öffentlichen Internet eine Autorisierung (Bearer Token) anwenden.
  • Unterschiede bei den Modellparametern: Die von den Anbietern unterstützten maximalen Kontextfenster und Temperaturgrenzen sind unterschiedlich; Verwenden Sie in Anfragen allgemeine Parameter.
  • Netzwerklatenz: Die geografische Entfernung zwischen dem Standort des Gateways und den Rechenzentren des Anbieters kann zu zusätzlichen Verzögerungen von mehreren Millisekunden führen.

Verwandte Begriffe aus dem Glossar

TemperatureReverse ProxyLoggingContext WindowAPI GatewayCaching

Links

TreScout hat dieses Werkzeug nicht entwickelt · wir haben es in den GitHub-Trends gefunden und stellen es vor. Diese Seite beschreibt das Repository so, wie es am 2026-07-01 war: Die Anzahl der Sterne und unser Text stammen von diesem Tag, das Repository kann sich seitdem geändert haben. Den aktuellen Stand finden Sie über den Link zum Repository. Der Präsentationstext wurde mit KI aus der eigenen Dokumentation des Repositories erstellt und diese Seite wurde maschinell übersetzt aus dem türkischen Original · maßgeblich ist die türkische Fassung.