dstack

dstack ist eine einheitliche Steuerungsebene für GPU-Bereitstellung und Orchestrierung, die mit beliebigen GPU-Clouds, Kubernetes oder eigenen Clustern arbeitet und Entwicklung, Training und Inferenz abdeckt.

🛡️ Datenschutz: Ein Firmensitz ist auf den geprüften Seiten nicht genannt und somit nicht öffentlich dokumentiert. dstack kann laut Dokumentation selbst gehostet werden, sodass die Verarbeitung auf eigener Infrastruktur erfolgt; daneben gibt es den verwalteten Dienst dstack Sky. Zu EU-Hosting, AVV/DPA, Zertifizierungen und Training mit Kundendaten gibt es keine belegten Angaben; beim Einsatz von dstack Sky sollte für personenbezogene Daten vorab ein AVV/DPA geprüft werden.

Das Tool richtet sich an KI-Teams und Infrastrukturverantwortliche, die GPU-Ressourcen verschiedener Anbieter oder eigener Server einheitlich verwalten wollen.

Tool-Details & Features

💰 Preise: Die selbst gehostete Software ist quelloffen (MPL-2.0 laut GitHub); Preise für dstack Sky sind in den geprüften Quellen nicht ausgewiesen.

⚙️ Technik: Konfiguration über YAML-Dateien, Ausführung per CLI-Befehl dstack apply oder über APIs; Unterstützung von NVIDIA, AMD, TPU und Tenstorrent sowie Cloud-Backends, Kubernetes, SSH-Flotten und einem Slurm-Backend.

👥 Zielgruppe: ML-Ingenieure, Plattform- und DevOps-Teams.

🔗 Integrationen: Mehrere GPU-Clouds, Kubernetes, On-Premises-Cluster und Open-Source-KI-Frameworks; welche Anbieter im Einzelnen angebunden sind, steht in der Dokumentation.

📊 Funktionen: Fleets zur Cluster-Verwaltung, Entwicklungsumgebungen für IDEs und Agenten, Tasks für Training und Batch-Jobs, Services für Modell-Endpunkte sowie Volumes für persistente Daten.

Vor- & Nachteile

✅ Vorteile: Hardware- und anbieterunabhängiger Ansatz; Selbsthosting möglich; deklarative Konfiguration per YAML.

❌ Nachteile: Setzt Infrastruktur- und Cluster-Know-how voraus; Preise für den verwalteten Dienst, Firmensitz und Datenschutzdetails sind nicht öffentlich dokumentiert.

Für wen geeignet?

Perfekt für Entwicklungs- und MLOps-Teams, die Training und Inferenz auf unterschiedlicher GPU-Infrastruktur einheitlich orchestrieren möchten.