◆ KI-Freelancer? Werde eines der ersten 2.000 Gründungsmitglieder: 0 % Provision, 60 Tage Advanced (starte, wann du willst) und eigenes Titelbild für immer. KI-Freelancer? 0 % Provision + 60 Tage Advanced Jetzt Platz sichern →Mehr →
KI verbindenKI

Suche direkt aus deiner KI heraus nach KI-Tools, KI-Firmen und KI-Freelancern auf KI-Radar24.

So funktioniert der KI-Radar24-Connector
Inserat hinzufügen
vLLM

vLLM

Schnelle Open-Source-Engine zum Betrieb großer Sprachmodelle

Beschreibung

vllm.ai ist die Website von vLLM, einer quelloffenen Inferenz- und Serving-Engine für große Sprachmodelle, die offene Modelle mit hohem Durchsatz und effizienter Speichernutzung auf eigener Hardware bereitstellt.

Das Tool richtet sich an Entwicklerteams, KI-Infrastruktur-Verantwortliche und Unternehmen, die offene Sprachmodelle selbst betreiben wollen.

Tags

  • API
  • Machine Learning
  • Infrastruktur
  • Kostenlos nutzbar
  • Lokal nutzbar
  • Open Source

Zuletzt aktualisiert: November 2026 · Fehler melden · Abzeichen für deine Website

Auf einen Blick

Stand: November 2026
🛡️Datenschutz

Gemeinschaftsprojekt mit Ursprung an der UC Berkeley (USA), heute Teil der PyTorch Foundation; ein einzelner kommerzieller Anbieter mit Firmensitz ist auf der Website nicht genannt. Die Software läuft vollständig in der eigenen Infrastruktur, sodass Daten selbst kontrolliert werden können; Zertifizierungen oder DPA-Angebote sind nicht öffentlich dokumentiert, da es sich um Software und nicht um einen Dienst handelt.

💰
Preismodell

Open Source und kostenlos nutzbar; Kosten entstehen durch die eigene Hardware oder Cloud-Infrastruktur.

👥
Zielgruppe
KI-Infrastruktur-TeamsForschungseinrichtungen und Unternehmen mit eigenem Modellbetrieb
⚙️
Technik

Inferenz-Engine mit PagedAttention und kontinuierlichem Batching, die laut Website NVIDIA-GPUs, AMD ROCm, Intel Gaudi und XPU, AWS Neuron, Google-TPUs sowie reine CPU-Umgebungen unterstützt.

🔗
Integrationen

OpenAI-kompatible API, Unterstützung gängiger offener Modelle von Anbietern wie Meta, Google, Mistral AI, Qwen und DeepSeek sowie verschiedener Hardwareplattformen

📊
Funktionen
Hoher Durchsatz durch PagedAttentionKontinuierliches BatchingOpenAI-kompatibler ServerBreite Hardware-UnterstützungBetrieb vieler offener Modelle

✅ Vorteile

  • Selbst gehostet und damit volle Datenkontrolle
  • OpenAI-kompatible Schnittstelle erleichtert den Austausch gegen Cloud-Dienste

❌ Nachteile

  • Setzt technisches Wissen und passende Hardware, meist GPUs, voraus
  • Kein fertiger Chat-Dienst und kein Support-Angebot eines einzelnen Anbieters auf der Website
🎯
Für wen geeignet?

Vor allem interessant für Entwicklerteams und Unternehmen, die offene Sprachmodelle effizient und datensouverän auf eigener Hardware bereitstellen wollen.

Angaben laut Anbieter, Stand November 2026, ohne Gewähr. Fehler entdeckt? Melden

Bewertungen

Noch keine Bewertungen. Sei der Erste!

Bewertung schreiben

Deine E-Mail wird nicht veröffentlicht.