Truss

Truss ist ein Open-Source-Werkzeug von Baseten, das Modellcode, Gewichte und Abhängigkeiten in Container verpackt und für die Bereitstellung in der Produktion vorbereitet.

🛡️ Datenschutz: Open-Source-Software (MIT-Lizenz laut GitHub), die in der eigenen Umgebung installiert und betrieben werden kann; die Verarbeitung erfolgt dann dort und nicht zwingend bei einem Anbieter. Maintainer ist Baseten; ein Firmensitz ist auf den geprüften Seiten nicht belegt. Bei Deployment auf der Baseten-Plattform gelten deren eigene Datenschutzangaben, die hier nicht geprüft wurden.

Das Tool richtet sich an ML-Entwickler und Teams, die Modelle einheitlich verpacken und lokal wie produktiv ausführen wollen.

Tool-Details & Features

💰 Preise: Truss ist kostenlos unter MIT-Lizenz; Preise der Baseten-Plattform sind nicht geprüft.

⚙️ Technik: Konfiguration per config.yaml oder eigene Python-Modellklasse mit load und predict, alternativ eigener Docker-Container; Bereitstellung per CLI.

👥 Zielgruppe: ML-Ingenieure und Entwicklerteams.

🔗 Integrationen: vLLM, SGLang, TensorRT-LLM, Transformers, Diffusers, PyTorch und TensorFlow; OpenAI-kompatible Endpunkte bei engine-basierten Modellen; Deployment bei Baseten oder auf eigener Infrastruktur.

📊 Funktionen: Containerisierung, GPU-Konfiguration, Secrets-Verwaltung, Caching, Autoscaling, Live-Reload beim Entwickeln.

Vor- & Nachteile

✅ Vorteile: Einheitliches Verhalten lokal und produktiv, offene Lizenz, viele Frameworks.

❌ Nachteile: Komfortabelste Nutzung setzt die Baseten-Plattform voraus; Container- und ML-Grundkenntnisse nötig.

Für wen geeignet?

Perfekt für Entwickler, die Modelle reproduzierbar verpacken und produktiv bereitstellen wollen.