◆KI-Freelancer? Werde eines der ersten 2.000 Gründungsmitglieder: 0 % Provision, 60 Tage Advanced (starte, wann du willst) und eigenes Titelbild für immer.KI-Freelancer? 0 % Provision + 60 Tage AdvancedJetzt Platz sichern →Mehr →
vllm.ai ist die Website von vLLM, einer quelloffenen Inferenz- und Serving-Engine für große Sprachmodelle, die offene Modelle mit hohem Durchsatz und effizienter Speichernutzung auf eigener Hardware bereitstellt.
Das Tool richtet sich an Entwicklerteams, KI-Infrastruktur-Verantwortliche und Unternehmen, die offene Sprachmodelle selbst betreiben wollen.
Gemeinschaftsprojekt mit Ursprung an der UC Berkeley (USA), heute Teil der PyTorch Foundation; ein einzelner kommerzieller Anbieter mit Firmensitz ist auf der Website nicht genannt. Die Software läuft vollständig in der eigenen Infrastruktur, sodass Daten selbst kontrolliert werden können; Zertifizierungen oder DPA-Angebote sind nicht öffentlich dokumentiert, da es sich um Software und nicht um einen Dienst handelt.
💰
Preismodell
Open Source und kostenlos nutzbar; Kosten entstehen durch die eigene Hardware oder Cloud-Infrastruktur.
👥
Zielgruppe
KI-Infrastruktur-TeamsForschungseinrichtungen und Unternehmen mit eigenem Modellbetrieb
⚙️
Technik
Inferenz-Engine mit PagedAttention und kontinuierlichem Batching, die laut Website NVIDIA-GPUs, AMD ROCm, Intel Gaudi und XPU, AWS Neuron, Google-TPUs sowie reine CPU-Umgebungen unterstützt.
🔗
Integrationen
OpenAI-kompatible API, Unterstützung gängiger offener Modelle von Anbietern wie Meta, Google, Mistral AI, Qwen und DeepSeek sowie verschiedener Hardwareplattformen
📊
Funktionen
Hoher Durchsatz durch PagedAttentionKontinuierliches BatchingOpenAI-kompatibler ServerBreite Hardware-UnterstützungBetrieb vieler offener Modelle
✅ Vorteile
Selbst gehostet und damit volle Datenkontrolle
OpenAI-kompatible Schnittstelle erleichtert den Austausch gegen Cloud-Dienste
❌ Nachteile
Setzt technisches Wissen und passende Hardware, meist GPUs, voraus
Kein fertiger Chat-Dienst und kein Support-Angebot eines einzelnen Anbieters auf der Website
🎯
Für wen geeignet?
Vor allem interessant für Entwicklerteams und Unternehmen, die offene Sprachmodelle effizient und datensouverän auf eigener Hardware bereitstellen wollen.
Angaben laut Anbieter, Stand November 2026, ohne Gewähr. Fehler entdeckt? Melden
Bau das Abzeichen auf deiner Website ein. Es verlinkt direkt auf deinen Eintrag, so finden dich Kunden schneller.
Code kopieren und auf deiner Seite einfügen, z. B. in der Fußzeile.
Cookies & Datenschutz
Um dir ein optimales Erlebnis zu bieten, verwenden wir Technologien wie Cookies, um Geräteinformationen zu speichern und/oder darauf zuzugreifen. Wenn du diesen Technologien zustimmst, können wir Daten wie das Surfverhalten oder eindeutige IDs auf dieser Website verarbeiten. Wenn du deine Einwilligung nicht erteilst oder zurückziehst, können bestimmte Merkmale und Funktionen beeinträchtigt werden.
Dienste (7)
Sitzung und AnmeldungKI-Radar24 (Radarcraft Studios) Hält dich angemeldet, merkt sich die gewählte Sprache und sichert Formulare und Zahlungen ab. Bis zum Schließen des Browsers, höchstens 2 Stunden
Schutz vor gefälschten AnfragenKI-Radar24 (Radarcraft Studios) Verhindert, dass fremde Seiten in deinem Namen Formulare abschicken. 2 Stunden
Angemeldet bleibenKI-Radar24 (Radarcraft Studios) Nur wenn du beim Login „Angemeldet bleiben“ wählst: erkennt dich beim nächsten Besuch wieder. Bis zu 400 Tage oder bis zum Abmelden
Deine Cookie-AuswahlKI-Radar24 (Radarcraft Studios) Speichert, wofür du im Cookie-Banner dein Einverständnis gegeben oder abgelehnt hast. 12 Monate
GewinnspielKI-Radar24 (Radarcraft Studios) Zählt deine Spiele pro Tag, damit niemand das Gewinnspiel mehrfach ausnutzt. Das Cookie entsteht erst, wenn du mitspielst. Bis zum Ende des Tages
Hell oder dunkelKI-Radar24 (Radarcraft Studios) Merkt sich, ob du im Kundenbereich das helle oder das dunkle Design gewählt hast. Wird nur gespeichert, wenn du es selbst umstellst. Bis du die Browserdaten löschst
Besucherzählung ohne CookiesKI-Radar24 (Radarcraft Studios) Zählt Seitenaufrufe, Herkunft, Gerät und Land sowie die Schritte im Kaufablauf (zum Beispiel „Kasse geöffnet“), ohne Cookie und ohne deine IP-Adresse zu speichern. Aus IP-Adresse und Browser entsteht ein Kennwert, der sich jeden Tag ändert und nicht zurückgerechnet werden kann. Besuche an verschiedenen Tagen lassen sich damit nicht verbinden. Gespeichert werden nur Summen. Kennwert 1 Tag, Zahlen 24 Monate
Dienste (2)
Gesehene Stories merkenKI-Radar24 (Radarcraft Studios) Merkt im Browser, welche Stories du schon gesehen hast, und zählt eine Einblendung pro Tag nur einmal. Bis du die Browserdaten löschst, Tageszähler 1 Tag
Frage beim Verlassen der KasseKI-Radar24 (Radarcraft Studios) Merkt im Browser, dass du die kurze Frage „Warum hast du nicht gekauft?“ schon gesehen hast, damit sie nur einmal kommt, und dass du gerade im Kaufablauf bist. Deine Antwort ist freiwillig und wird ohne IP-Adresse und ohne Konto gespeichert, den Text löschen wir nach 90 Tagen. Wer „Präferenzen“ nicht erlaubt, bekommt nichts gespeichert und die Frage höchstens einmal je Seitenaufruf. kir24_af bis du die Browserdaten löschst, kir24_kf bis zum Schließen des Browsers
Dienste (1)
Erweiterte BesucherzählungKI-Radar24 (Radarcraft Studios) Erkennt wiederkehrende Besucher und zählt eindeutige Besucher über mehrere Tage. Die Schritte im Kaufablauf (zum Beispiel Kasse geöffnet) werden dann mit der zufälligen Kennung verbunden, bei angemeldeten Konten auch mit dem Konto, damit wir sehen, wo Käufe abbrechen. Diese Einzelereignisse löschen wir nach 90 Tagen, mit dem Konto sofort. Läuft nur mit deiner Zustimmung. 6 Monate
Dienste (2)
Partner-LinksKI-Radar24 (Radarcraft Studios) Merkt sich, über welchen Partner du gekommen bist, damit er seine Provision bekommt. Es wird nichts an Dritte gesendet. 90 Tage
Google MapsGoogle Ireland Limited Zeigt die Karte unter „Entdecken“. Google wird erst geladen, nachdem du die Karte aktiv anklickst. Bis zu 6 Monate