◆KI-Freelancer? Werde eines der ersten 2.000 Gründungsmitglieder: 0 % Provision, 60 Tage Advanced (starte, wann du willst) und eigenes Titelbild für immer.KI-Freelancer? 0 % Provision + 60 Tage AdvancedJetzt Platz sichern →Mehr →
github.com ist die Heimat von llama.cpp, einer quelloffenen C/C++-Implementierung zum lokalen Ausführen großer Sprachmodelle mit minimalen Abhängigkeiten auf CPUs und verschiedenen Grafikkarten.
Das Tool richtet sich an Entwickler, Technikbegeisterte und Unternehmen, die Sprachmodelle lokal und ohne Cloud-Anbindung betreiben wollen.
Open-Source-Projekt der Organisation ggml-org, maßgeblich von Georgi Gerganov mitentwickelt; ein Firmensitz ist nicht genannt. Die Modelle laufen vollständig lokal auf eigener Hardware, sodass keine Daten an einen Dienstanbieter übermittelt werden müssen; Zertifizierungen oder DPA sind nicht öffentlich dokumentiert, da es sich um Software und nicht um einen Dienst handelt.
💰
Preismodell
Open Source unter MIT-Lizenz und kostenlos nutzbar; Kosten entstehen nur durch die eigene Hardware.
👥
Zielgruppe
EntwicklerForschendeHobby-AnwenderUnternehmen mit Datenschutzanforderungen
⚙️
Technik
Auf der Tensor-Bibliothek ggml aufbauende Inferenz mit Quantisierung von 1,5 bis 8 Bit, gemeinsamer Nutzung von CPU und GPU sowie mehr als 14 Beschleuniger-Backends wie CUDA, HIP, Metal, Vulkan und SYCL.
🔗
Integrationen
Der mitgelieferte llama-server stellt OpenAI-kompatible Endpunkte bereit, Zahlreiche Programmiersprachen-Anbindungen und darauf aufbauende Anwendungen verbreiten sich im Umfeld des Projekts
📊
Funktionen
Lokale Inferenz auf CPU und GPUQuantisierung zur Verkleinerung der ModelleUnterstützung von Apple SiliconX86 und weiteren PlattformenOpenAI-kompatibler ServerNutzung von Modellen im GGUF-Format
✅ Vorteile
Läuft auch auf Verbraucherhardware ohne Cloud
Sehr breite Hardware-Unterstützung und aktive Entwicklergemeinschaft mit über 130.000 Sternen auf GitHub
❌ Nachteile
Bedienung über Kommandozeile und Konfiguration erfordert technisches Wissen
Keine grafische Oberfläche als Kernprodukt und kein kommerzieller Support
🎯
Für wen geeignet?
Besonders sinnvoll für Entwickler und Datenschutz-bewusste Teams, die Sprachmodelle lokal auf eigener Hardware ausführen und in eigene Anwendungen einbetten wollen.
Angaben laut Anbieter, Stand November 2026, ohne Gewähr. Fehler entdeckt? Melden
Bau das Abzeichen auf deiner Website ein. Es verlinkt direkt auf deinen Eintrag, so finden dich Kunden schneller.
Code kopieren und auf deiner Seite einfügen, z. B. in der Fußzeile.
Cookies & Datenschutz
Um dir ein optimales Erlebnis zu bieten, verwenden wir Technologien wie Cookies, um Geräteinformationen zu speichern und/oder darauf zuzugreifen. Wenn du diesen Technologien zustimmst, können wir Daten wie das Surfverhalten oder eindeutige IDs auf dieser Website verarbeiten. Wenn du deine Einwilligung nicht erteilst oder zurückziehst, können bestimmte Merkmale und Funktionen beeinträchtigt werden.
Dienste (7)
Sitzung und AnmeldungKI-Radar24 (Radarcraft Studios) Hält dich angemeldet, merkt sich die gewählte Sprache und sichert Formulare und Zahlungen ab. Bis zum Schließen des Browsers, höchstens 2 Stunden
Schutz vor gefälschten AnfragenKI-Radar24 (Radarcraft Studios) Verhindert, dass fremde Seiten in deinem Namen Formulare abschicken. 2 Stunden
Angemeldet bleibenKI-Radar24 (Radarcraft Studios) Nur wenn du beim Login „Angemeldet bleiben“ wählst: erkennt dich beim nächsten Besuch wieder. Bis zu 400 Tage oder bis zum Abmelden
Deine Cookie-AuswahlKI-Radar24 (Radarcraft Studios) Speichert, wofür du im Cookie-Banner dein Einverständnis gegeben oder abgelehnt hast. 12 Monate
GewinnspielKI-Radar24 (Radarcraft Studios) Zählt deine Spiele pro Tag, damit niemand das Gewinnspiel mehrfach ausnutzt. Das Cookie entsteht erst, wenn du mitspielst. Bis zum Ende des Tages
Hell oder dunkelKI-Radar24 (Radarcraft Studios) Merkt sich, ob du im Kundenbereich das helle oder das dunkle Design gewählt hast. Wird nur gespeichert, wenn du es selbst umstellst. Bis du die Browserdaten löschst
Besucherzählung ohne CookiesKI-Radar24 (Radarcraft Studios) Zählt Seitenaufrufe, Herkunft, Gerät und Land sowie die Schritte im Kaufablauf (zum Beispiel „Kasse geöffnet“), ohne Cookie und ohne deine IP-Adresse zu speichern. Aus IP-Adresse und Browser entsteht ein Kennwert, der sich jeden Tag ändert und nicht zurückgerechnet werden kann. Besuche an verschiedenen Tagen lassen sich damit nicht verbinden. Gespeichert werden nur Summen. Kennwert 1 Tag, Zahlen 24 Monate
Dienste (2)
Gesehene Stories merkenKI-Radar24 (Radarcraft Studios) Merkt im Browser, welche Stories du schon gesehen hast, und zählt eine Einblendung pro Tag nur einmal. Bis du die Browserdaten löschst, Tageszähler 1 Tag
Frage beim Verlassen der KasseKI-Radar24 (Radarcraft Studios) Merkt im Browser, dass du die kurze Frage „Warum hast du nicht gekauft?“ schon gesehen hast, damit sie nur einmal kommt, und dass du gerade im Kaufablauf bist. Deine Antwort ist freiwillig und wird ohne IP-Adresse und ohne Konto gespeichert, den Text löschen wir nach 90 Tagen. Wer „Präferenzen“ nicht erlaubt, bekommt nichts gespeichert und die Frage höchstens einmal je Seitenaufruf. kir24_af bis du die Browserdaten löschst, kir24_kf bis zum Schließen des Browsers
Dienste (1)
Erweiterte BesucherzählungKI-Radar24 (Radarcraft Studios) Erkennt wiederkehrende Besucher und zählt eindeutige Besucher über mehrere Tage. Die Schritte im Kaufablauf (zum Beispiel Kasse geöffnet) werden dann mit der zufälligen Kennung verbunden, bei angemeldeten Konten auch mit dem Konto, damit wir sehen, wo Käufe abbrechen. Diese Einzelereignisse löschen wir nach 90 Tagen, mit dem Konto sofort. Läuft nur mit deiner Zustimmung. 6 Monate
Dienste (2)
Partner-LinksKI-Radar24 (Radarcraft Studios) Merkt sich, über welchen Partner du gekommen bist, damit er seine Provision bekommt. Es wird nichts an Dritte gesendet. 90 Tage
Google MapsGoogle Ireland Limited Zeigt die Karte unter „Entdecken“. Google wird erst geladen, nachdem du die Karte aktiv anklickst. Bis zu 6 Monate