LiteLLM
Open-source AI gateway with a unified API for 100+ models
Description
litellm.ai ist ein quelloffenes KI-Gateway und LLM-Proxy von BerriAI, das über eine OpenAI-kompatible Schnittstelle Zugriff auf mehr als 140 Modellanbieter bietet und dabei Kosten, Zugriffe und Lastverteilung zentral steuert.
Das Tool richtet sich an Entwicklerteams und Plattform-Teams, die viele Sprachmodelle über einen zentralen Zugang bereitstellen und kontrollieren wollen.
Last updated: November 2026 · Report an error · Badge for your website
At a glance
As of: November 2026Anbieter mit Sitz in den USA (BerriAI Incorporated). Das Gateway lässt sich selbst betreiben, auch in abgeschotteten Umgebungen; laut Anbieter sendet die selbst gehostete Variante keine Telemetrie. Zu EU-Hosting, DPA und Zertifizierungen der Enterprise-Variante sind auf den geprüften Seiten keine Details dokumentiert; für personenbezogene Daten sollte vorab ein AVV/DPA geprüft werden.
Open Source unter MIT-Lizenz kostenlos nutzbar; Enterprise-Variante mit SSO, Rollenrechten, Audit-Protokollen und Support nach individuellem Angebot.
Gateway mit Python-SDK und Proxy-Server, laut Anbieter mit Rust-Kern, betrieben mit PostgreSQL und Redis; Bereitstellung per Docker, Helm und Terraform.
Über 140 Modellanbieter (u. a. Bedrock, Azure, OpenAI, Anthropic, Vertex AI, vLLM), SSO sowie Anbindung an Secret-Speicher wie AWS Secrets Manager, Vault, Azure Key Vault
✅ Pros
- Ein Zugang für viele Modelle vereinfacht Wechsel und Kostenkontrolle
- Quelloffen und selbst hostbar, auch ohne Internetanbindung
❌ Cons
- Eigener Betrieb erfordert Infrastruktur und Wartung (u. a. PostgreSQL und Redis)
- Wichtige Funktionen wie SSO und Audit-Protokolle sind der kostenpflichtigen Enterprise-Variante vorbehalten
Gut geeignet für Entwicklungs- und Plattform-Teams, die viele Sprachmodelle hinter einer einheitlichen Schnittstelle mit Kostenkontrolle und Governance betreiben wollen.
Information provided by the vendor, As of November 2026, no guarantee. Spotted a mistake? Report
reviews
No reviews yet. Be the first!
Ähnliche Tools wie LiteLLM
Zeig, dass du auf KI-Radar24 bist
Bau das Abzeichen auf deiner Website ein. Es verlinkt direkt auf deinen Eintrag, so finden dich Kunden schneller.
