FuriosaAI

furiosa.ai ist die Website von FuriosaAI, einem Entwickler energieeffizienter KI-Beschleuniger (NPUs) für Rechenzentren, mit RNGD-Karte, RNGD-Server und zugehöriger Software für LLM-Inferenz.

🛡️ Datenschutz: Anbieter mit Sitz in Seoul, Südkorea (Adresse laut Website). Es handelt sich um Hardware und Software für den Betrieb in eigener Infrastruktur; Datenschutzerklärung, Zertifizierungen, EU-Hosting, AVV/DPA und ein Training mit Kundendaten wurden auf den geprüften Seiten nicht dokumentiert, daher sollte für personenbezogene Daten vorab ein AVV/DPA geprüft werden.

Das Angebot richtet sich an Rechenzentrumsbetreiber, Unternehmen und Forschungseinrichtungen, die LLMs und andere KI-Modelle effizient selbst betreiben wollen.

Tool-Details & Features

💰 Preise: nicht öffentlich ausgewiesen.

⚙️ Technik: RNGD-PCIe-Karte mit 180 W, RNGD-Server, Software furiosa-llm als Inferenz-Engine mit OpenAI-kompatiblem Server; der Workflow reicht von PyTorch über Quantisierung bis zum Serving.

👥 Zielgruppe: Rechenzentren, Cloud-Anbieter, Banken, Unternehmen und Universitäten; als Nutzer nennt die Website unter anderem Samsung SDS, LG AI Research, Upstage und Aramco.

🔗 Integrationen: OpenAI-kompatible API, Kubernetes, Container und llm-d; Modelle wie Qwen3, Llama 3.1/3.3, GPT-OSS und EXAONE laut Dokumentation unterstützt.

📊 Funktionen: Inferenz von LLMs und Vision-Language-Modellen, Tool Calling, strukturierte Ausgaben, Prefix-Caching, Daten-, Tensor- und Pipeline-Parallelität.

Vor- & Nachteile

✅ Vorteile: Dokumentation, GitHub und Forum öffentlich; OpenAI-kompatible Schnittstelle erleichtert die Anbindung; Betrieb im eigenen Rechenzentrum möglich.

❌ Nachteile: Preise und Zertifizierungen nicht öffentlich; Einsatz erfordert Infrastruktur-Know-how; Modell- und Framework-Unterstützung ist auf die dokumentierte Liste begrenzt.

Für wen geeignet?

Perfekt für Infrastrukturteams, die KI-Inferenz auf eigener Hardware mit hoher Energieeffizienz betreiben wollen.