LLaMA-Factory

github.com/hiyouga/LlamaFactory ist ein Open-Source-Framework zum Feinabstimmen von mehr als 100 Sprach- und Vision-Language-Modellen, das sowohl per Kommandozeile als auch über die Weboberfläche LLaMA Board ohne umfangreichen Programmieraufwand bedient werden kann.

🛡️ Datenschutz: Open-Source-Projekt unter Apache-2.0-Lizenz, gepflegt von hiyouga und einer Entwickler-Community auf GitHub; ein Firmensitz ist nicht öffentlich dokumentiert. Das Framework wird selbst betrieben, sodass Trainingsdaten in der eigenen Umgebung verbleiben können; Aussagen zu AVV/DPA oder Zertifizierungen sind nicht öffentlich dokumentiert. Bei Nutzung externer Cloud-Rechenzeit sollte vorab ein AVV mit dem jeweiligen Anbieter geprüft werden.

Das Tool richtet sich an Entwickler, Forschende und Unternehmen, die Sprachmodelle auf eigene Aufgaben und Daten anpassen möchten.

Tool-Details & Features

💰 Preise: Kostenlos als Open-Source-Software unter Apache-2.0-Lizenz; Kosten entstehen für GPU-Hardware oder Cloud-Rechenzeit.

⚙️ Technik: Python-Framework mit Unterstützung für Quantisierung (2, 4 und 8 Bit) sowie schnellere Inferenz über die Backends vLLM und SGLang.

👥 Zielgruppe: Entwickler, ML-Ingenieure, Forschungsteams und technisch versierte Unternehmen.

🔗 Integrationen: Anbindung an die Inferenz-Backends vLLM und SGLang; unterstützt Modellfamilien wie Llama, Qwen, Mistral, DeepSeek, Gemma, GLM und Phi.

📊 Funktionen: Überwachtes Feinabstimmen, Reward-Modellierung, PPO, DPO, KTO, ORPO und SimPO, LoRA, QLoRA und Vollabstimmung, Weboberfläche LLaMA Board, Unterstützung multimodaler Modelle.

Vor- & Nachteile

✅ Vorteile: Sehr breite Modellunterstützung inklusive neuer Modellveröffentlichungen; Bedienung wahlweise ohne Code über die Weboberfläche.

❌ Nachteile: Ohne GPU-Ressourcen und Grundwissen zu Modelltraining kaum sinnvoll nutzbar; kein kommerzieller Support oder Firmenanbieter dokumentiert.

Für wen geeignet?

Perfekt für Teams und Einzelpersonen, die Sprachmodelle mit Open-Source-Werkzeugen selbst feinabstimmen und dabei viele Trainingsverfahren ausprobieren wollen.