◆KI-Freelancer? Werde eines der ersten 2.000 Gründungsmitglieder: 0 % Provision, 60 Tage Advanced (starte, wann du willst) und eigenes Titelbild für immer.KI-Freelancer? 0 % Provision + 60 Tage AdvancedJetzt Platz sichern →Mehr →
litellm.ai ist ein quelloffenes KI-Gateway und LLM-Proxy von BerriAI, das über eine OpenAI-kompatible Schnittstelle Zugriff auf mehr als 140 Modellanbieter bietet und dabei Kosten, Zugriffe und Lastverteilung zentral steuert.
Das Tool richtet sich an Entwicklerteams und Plattform-Teams, die viele Sprachmodelle über einen zentralen Zugang bereitstellen und kontrollieren wollen.
Anbieter mit Sitz in den USA (BerriAI Incorporated). Das Gateway lässt sich selbst betreiben, auch in abgeschotteten Umgebungen; laut Anbieter sendet die selbst gehostete Variante keine Telemetrie. Zu EU-Hosting, DPA und Zertifizierungen der Enterprise-Variante sind auf den geprüften Seiten keine Details dokumentiert; für personenbezogene Daten sollte vorab ein AVV/DPA geprüft werden.
💰
Preismodell
Open Source unter MIT-Lizenz kostenlos nutzbar; Enterprise-Variante mit SSO, Rollenrechten, Audit-Protokollen und Support nach individuellem Angebot.
👥
Zielgruppe
EntwicklerKI-Plattform-TeamsIT-Abteilungen und Unternehmen mit mehreren Modellanbietern
⚙️
Technik
Gateway mit Python-SDK und Proxy-Server, laut Anbieter mit Rust-Kern, betrieben mit PostgreSQL und Redis; Bereitstellung per Docker, Helm und Terraform.
🔗
Integrationen
Über 140 Modellanbieter (u. a. Bedrock, Azure, OpenAI, Anthropic, Vertex AI, vLLM), SSO sowie Anbindung an Secret-Speicher wie AWS Secrets Manager, Vault, Azure Key Vault
📊
Funktionen
Einheitliche OpenAI-kompatible APIKostenverfolgung pro SchlüsselTeam und NutzerBudgetgrenzen und RatenbegrenzungLastverteilung und CachingGuardrails wie PII-MaskierungErkennung von Prompt-Injection
✅ Vorteile
Ein Zugang für viele Modelle vereinfacht Wechsel und Kostenkontrolle
Quelloffen und selbst hostbar, auch ohne Internetanbindung
❌ Nachteile
Eigener Betrieb erfordert Infrastruktur und Wartung (u. a. PostgreSQL und Redis)
Wichtige Funktionen wie SSO und Audit-Protokolle sind der kostenpflichtigen Enterprise-Variante vorbehalten
🎯
Für wen geeignet?
Gut geeignet für Entwicklungs- und Plattform-Teams, die viele Sprachmodelle hinter einer einheitlichen Schnittstelle mit Kostenkontrolle und Governance betreiben wollen.
Angaben laut Anbieter, Stand November 2026, ohne Gewähr. Fehler entdeckt? Melden
Bau das Abzeichen auf deiner Website ein. Es verlinkt direkt auf deinen Eintrag, so finden dich Kunden schneller.
Code kopieren und auf deiner Seite einfügen, z. B. in der Fußzeile.
Cookies & Datenschutz
Um dir ein optimales Erlebnis zu bieten, verwenden wir Technologien wie Cookies, um Geräteinformationen zu speichern und/oder darauf zuzugreifen. Wenn du diesen Technologien zustimmst, können wir Daten wie das Surfverhalten oder eindeutige IDs auf dieser Website verarbeiten. Wenn du deine Einwilligung nicht erteilst oder zurückziehst, können bestimmte Merkmale und Funktionen beeinträchtigt werden.
Dienste (7)
Sitzung und AnmeldungKI-Radar24 (Radarcraft Studios) Hält dich angemeldet, merkt sich die gewählte Sprache und sichert Formulare und Zahlungen ab. Bis zum Schließen des Browsers, höchstens 2 Stunden
Schutz vor gefälschten AnfragenKI-Radar24 (Radarcraft Studios) Verhindert, dass fremde Seiten in deinem Namen Formulare abschicken. 2 Stunden
Angemeldet bleibenKI-Radar24 (Radarcraft Studios) Nur wenn du beim Login „Angemeldet bleiben“ wählst: erkennt dich beim nächsten Besuch wieder. Bis zu 400 Tage oder bis zum Abmelden
Deine Cookie-AuswahlKI-Radar24 (Radarcraft Studios) Speichert, wofür du im Cookie-Banner dein Einverständnis gegeben oder abgelehnt hast. 12 Monate
GewinnspielKI-Radar24 (Radarcraft Studios) Zählt deine Spiele pro Tag, damit niemand das Gewinnspiel mehrfach ausnutzt. Das Cookie entsteht erst, wenn du mitspielst. Bis zum Ende des Tages
Hell oder dunkelKI-Radar24 (Radarcraft Studios) Merkt sich, ob du im Kundenbereich das helle oder das dunkle Design gewählt hast. Wird nur gespeichert, wenn du es selbst umstellst. Bis du die Browserdaten löschst
Besucherzählung ohne CookiesKI-Radar24 (Radarcraft Studios) Zählt Seitenaufrufe, Herkunft, Gerät und Land sowie die Schritte im Kaufablauf (zum Beispiel „Kasse geöffnet“), ohne Cookie und ohne deine IP-Adresse zu speichern. Aus IP-Adresse und Browser entsteht ein Kennwert, der sich jeden Tag ändert und nicht zurückgerechnet werden kann. Besuche an verschiedenen Tagen lassen sich damit nicht verbinden. Gespeichert werden nur Summen. Kennwert 1 Tag, Zahlen 24 Monate
Dienste (2)
Gesehene Stories merkenKI-Radar24 (Radarcraft Studios) Merkt im Browser, welche Stories du schon gesehen hast, und zählt eine Einblendung pro Tag nur einmal. Bis du die Browserdaten löschst, Tageszähler 1 Tag
Frage beim Verlassen der KasseKI-Radar24 (Radarcraft Studios) Merkt im Browser, dass du die kurze Frage „Warum hast du nicht gekauft?“ schon gesehen hast, damit sie nur einmal kommt, und dass du gerade im Kaufablauf bist. Deine Antwort ist freiwillig und wird ohne IP-Adresse und ohne Konto gespeichert, den Text löschen wir nach 90 Tagen. Wer „Präferenzen“ nicht erlaubt, bekommt nichts gespeichert und die Frage höchstens einmal je Seitenaufruf. kir24_af bis du die Browserdaten löschst, kir24_kf bis zum Schließen des Browsers
Dienste (1)
Erweiterte BesucherzählungKI-Radar24 (Radarcraft Studios) Erkennt wiederkehrende Besucher und zählt eindeutige Besucher über mehrere Tage. Die Schritte im Kaufablauf (zum Beispiel Kasse geöffnet) werden dann mit der zufälligen Kennung verbunden, bei angemeldeten Konten auch mit dem Konto, damit wir sehen, wo Käufe abbrechen. Diese Einzelereignisse löschen wir nach 90 Tagen, mit dem Konto sofort. Läuft nur mit deiner Zustimmung. 6 Monate
Dienste (2)
Partner-LinksKI-Radar24 (Radarcraft Studios) Merkt sich, über welchen Partner du gekommen bist, damit er seine Provision bekommt. Es wird nichts an Dritte gesendet. 90 Tage
Google MapsGoogle Ireland Limited Zeigt die Karte unter „Entdecken“. Google wird erst geladen, nachdem du die Karte aktiv anklickst. Bis zu 6 Monate