text-generation-webui

text-generation-webui ist eine quelloffene Gradio-Weboberfläche, mit der sich große Sprachmodelle lokal ausführen und im Chat nutzen lassen.

🛡️ Datenschutz: Die Software läuft laut Projektbeschreibung vollständig lokal; Modelle werden auf den eigenen Rechner geladen, die Oberfläche ist standardmäßig über localhost erreichbar, externe Kommunikation ist für den Betrieb nicht nötig. Ein Anbieter-Sitz ist nicht öffentlich dokumentiert. Das Projekt steht unter AGPL-3.0; bei lokalem Betrieb gibt es keinen Datenabfluss an den Projektbetreiber, soweit belegt.

Das Tool richtet sich an Technisch versierte Anwender und Entwickler, die Sprachmodelle auf eigener Hardware testen und betreiben möchten.

Tool-Details & Features

💰 Preise: Kostenlos als Open-Source-Software (AGPL-3.0); Hardware- und Modellkosten fallen separat an.

⚙️ Technik: Unterstützt mehrere Backends (Transformers, llama.cpp, ExLlamaV2, TensorRT-LLM, AutoGPTQ, AutoAWQ, HQQ, AQLM); Installation per Skript, Conda oder Docker.

👥 Zielgruppe: Entwickler, Bastler und Forschende mit lokalen Modellen.

🔗 Integrationen: OpenAI-kompatible API mit Chat- und Completion-Endpunkten; erweiterbar über Community-Erweiterungen.

📊 Funktionen: Drei Chat-Modi, automatische Prompt-Formatierung per Jinja2-Vorlagen, Verlaufsverwaltung, umfangreiche Sampling-Einstellungen, Modellwechsel ohne Neustart, LoRA-Feintuning.

Vor- & Nachteile

✅ Vorteile: Lokale, offline mögliche Nutzung ohne Cloud; viele Backends; kostenlos und quelloffen.

❌ Nachteile: Einrichtung und Modellauswahl erfordern technisches Wissen; leistungsfähige Hardware nötig; AGPL-3.0 verlangt bei Netzwerkbetrieb geänderten Quellcode offenzulegen; kein offizieller Support.

Für wen geeignet?

Perfekt für Entwickler und technisch interessierte Anwender, die Sprachmodelle datensparsam auf eigener Hardware betreiben möchten.