exo

exolabs.net ist exo, eine quelloffene Software von EXO Labs, die mehrere eigene Geräte wie Macs und Linux-Rechner zu einem Cluster verbindet, um große KI-Modelle lokal und verteilt auszuführen.

🛡️ Datenschutz: Anbieter EXO Labs; ein Firmensitz ist auf der Website nicht angegeben. Die Modelle laufen auf der eigenen Hardware und lassen sich nach der Einrichtung offline betreiben, sodass Eingaben das eigene Netzwerk nicht verlassen müssen. Ein Datenschutztext, ein AVV und Zertifizierungen sind nicht öffentlich dokumentiert.

Das Tool richtet sich an Entwickler, Technikinteressierte und Unternehmen, die große Sprachmodelle auf eigener Hardware statt in der Cloud betreiben wollen.

Tool-Details & Features

💰 Preise: Open Source unter Apache-2.0-Lizenz mit kostenlosem macOS-App-Download; für Unternehmenseinsätze werden Anfragen an den Vertrieb gerichtet.

⚙️ Technik: Automatische Geräteerkennung und Verteilung der Berechnung per Tensor-Parallelismus und Pipeline-Sharding; macOS mit GPU-Beschleunigung über MLX, Linux derzeit nur CPU; RDMA über Thunderbolt 5 wird unterstützt.

👥 Zielgruppe: Entwicklerteams, Forschende und Unternehmen mit eigener Apple-Silicon- oder Linux-Hardware.

🔗 Integrationen: Kompatibel mit den API-Formaten OpenAI Chat Completions, Claude Messages und Ollama; eigene Hugging-Face-Modelle nutzbar.

📊 Funktionen: Verbund mehrerer Geräte zu einem Cluster, automatische Topologie-Optimierung, integriertes Dashboard, lokale API-Schnittstelle, Offline-Betrieb, macOS-App.

Vor- & Nachteile

✅ Vorteile: Daten und Modelle bleiben auf eigener Hardware; bekannte API-Formate erleichtern die Anbindung bestehender Anwendungen.

❌ Nachteile: Linux-Unterstützung ist derzeit auf CPU begrenzt; optimale Leistung erfordert teure Hardware wie mehrere Macs mit Thunderbolt-5-Anbindung.

Für wen geeignet?

Perfekt für Technikaffine Nutzer und Teams, die große Open-Source-Modelle lokal im eigenen Gerätepark betreiben möchten.