Moreh

moreh.io ist ein Softwareanbieter für KI-Infrastruktur, dessen MoAI-Inferenz-Framework Sprachmodelle auf Beschleunigern verschiedener Hersteller effizient bereitstellt und skaliert.

🛡️ Datenschutz: Betreiber ist Moreh, Inc.; der Firmensitz ist weder auf der Startseite noch in der Datenschutzerklärung (Stand August 2025) ausdrücklich genannt. Die Erklärung erwähnt CCPA-Rechte, aber keine DSGVO; EU-Hosting, DPA und Zertifizierungen sind nicht öffentlich dokumentiert, daher sollte für personenbezogene Daten vorab ein AVV/DPA geprüft werden.

Das Tool richtet sich an Unternehmen und Rechenzentrumsbetreiber, die Sprachmodelle auf eigener GPU-Infrastruktur betreiben wollen.

Tool-Details & Features

💰 Preise: Preise werden nicht veröffentlicht; Informationen gibt es nach einer Demo-Anfrage (Enterprise auf Anfrage).

⚙️ Technik: Durchgängiger Inferenz-Stack von Kerneln bis zu verteiltem Serving, mit Moreh vLLM für AMD und Tenstorrent sowie Unterstützung für NVIDIA-GPUs.

👥 Zielgruppe: ML-Infrastrukturteams, Cloud- und Rechenzentrumsbetreiber sowie KI-Entwickler.

🔗 Integrationen: Zusammenarbeit mit AMD ROCm, Tenstorrent Metalium, SGLang, SkyPilot und llm-d.

📊 Funktionen: MoAI Performance Gateway, MoAI Fabric für den KV-Cache-Transfer, herstellerübergreifende GPU-Cluster, Kernel-Optimierung und Quantisierung, Auto-Scaling mit SLO-Optimierung.

Vor- & Nachteile

✅ Vorteile: Unterstützt Beschleuniger mehrerer Hersteller und senkt damit die Abhängigkeit von einem Anbieter; umfassender Stack für Inferenz.

❌ Nachteile: Richtet sich an Fachteams mit eigener Infrastruktur; keine öffentlichen Preise, Sitz und Datenschutzdetails kaum dokumentiert.

Für wen geeignet?

Perfekt für Infrastruktur- und ML-Teams, die Sprachmodelle auf heterogener GPU-Hardware performant und kosteneffizient betreiben wollen.