◆ KI-Freelancer? Werde eines der ersten 2.000 Gründungsmitglieder: 0 % Provision, 60 Tage Advanced (starte, wann du willst) und eigenes Titelbild für immer. KI-Freelancer? 0 % Provision + 60 Tage Advanced Jetzt Platz sichern →Mehr →
KI verbindenKI

Suche direkt aus deiner KI heraus nach KI-Tools, KI-Firmen und KI-Freelancern auf KI-Radar24.

So funktioniert der KI-Radar24-Connector
Inserat hinzufügen
llama.cpp

llama.cpp

C/C++-Bibliothek zum lokalen Ausführen großer Sprachmodelle

Beschreibung

github.com ist die Heimat von llama.cpp, einer quelloffenen C/C++-Implementierung zum lokalen Ausführen großer Sprachmodelle mit minimalen Abhängigkeiten auf CPUs und verschiedenen Grafikkarten.

Das Tool richtet sich an Entwickler, Technikbegeisterte und Unternehmen, die Sprachmodelle lokal und ohne Cloud-Anbindung betreiben wollen.

Tags

  • Programmierung
  • Machine Learning
  • Infrastruktur
  • Kostenlos nutzbar
  • Open Source

Zuletzt aktualisiert: November 2026 · Fehler melden · Abzeichen für deine Website

Auf einen Blick

Stand: November 2026
🛡️Datenschutz

Open-Source-Projekt der Organisation ggml-org, maßgeblich von Georgi Gerganov mitentwickelt; ein Firmensitz ist nicht genannt. Die Modelle laufen vollständig lokal auf eigener Hardware, sodass keine Daten an einen Dienstanbieter übermittelt werden müssen; Zertifizierungen oder DPA sind nicht öffentlich dokumentiert, da es sich um Software und nicht um einen Dienst handelt.

💰
Preismodell

Open Source unter MIT-Lizenz und kostenlos nutzbar; Kosten entstehen nur durch die eigene Hardware.

👥
Zielgruppe
EntwicklerForschendeHobby-AnwenderUnternehmen mit Datenschutzanforderungen
⚙️
Technik

Auf der Tensor-Bibliothek ggml aufbauende Inferenz mit Quantisierung von 1,5 bis 8 Bit, gemeinsamer Nutzung von CPU und GPU sowie mehr als 14 Beschleuniger-Backends wie CUDA, HIP, Metal, Vulkan und SYCL.

🔗
Integrationen

Der mitgelieferte llama-server stellt OpenAI-kompatible Endpunkte bereit, Zahlreiche Programmiersprachen-Anbindungen und darauf aufbauende Anwendungen verbreiten sich im Umfeld des Projekts

📊
Funktionen
Lokale Inferenz auf CPU und GPUQuantisierung zur Verkleinerung der ModelleUnterstützung von Apple SiliconX86 und weiteren PlattformenOpenAI-kompatibler ServerNutzung von Modellen im GGUF-Format

✅ Vorteile

  • Läuft auch auf Verbraucherhardware ohne Cloud
  • Sehr breite Hardware-Unterstützung und aktive Entwicklergemeinschaft mit über 130.000 Sternen auf GitHub

❌ Nachteile

  • Bedienung über Kommandozeile und Konfiguration erfordert technisches Wissen
  • Keine grafische Oberfläche als Kernprodukt und kein kommerzieller Support
🎯
Für wen geeignet?

Besonders sinnvoll für Entwickler und Datenschutz-bewusste Teams, die Sprachmodelle lokal auf eigener Hardware ausführen und in eigene Anwendungen einbetten wollen.

Angaben laut Anbieter, Stand November 2026, ohne Gewähr. Fehler entdeckt? Melden

Bewertungen

Noch keine Bewertungen. Sei der Erste!

Bewertung schreiben

Deine E-Mail wird nicht veröffentlicht.