TextGen

github.com/oobabooga/textgen ist die Projektseite von TextGen (früher Oobabooga text-generation-webui), einer quelloffenen Desktop-Anwendung, mit der große Sprachmodelle lokal auf dem eigenen Rechner betrieben und per Chat oder API genutzt werden.

🛡️ Datenschutz: Open-Source-Projekt des Entwicklers oobabooga; Firmensitz und Betreiberstruktur sind nicht öffentlich dokumentiert. Nach Angaben des Projekts arbeitet die Anwendung vollständig offline, ohne Telemetrie, externe Ressourcen oder Remote-Update-Anfragen, sodass Daten das eigene Gerät nicht verlassen; ein DPA ist bei lokalem Betrieb nicht erforderlich.

Das Tool richtet sich an technikaffine Anwender und Entwickler, die offene Sprachmodelle ohne Cloud-Dienst testen, chatten oder feinjustieren wollen.

Tool-Details & Features

💰 Preise: Open Source unter der AGPL-3.0-Lizenz; kostenlos nutzbar, Modelle werden separat bezogen.

⚙️ Technik: Unterstützt mehrere Backends, darunter llama.cpp, Transformers, ExLlamaV3 und TensorRT-LLM, und stellt OpenAI- und Anthropic-kompatible API-Schnittstellen bereit.

👥 Zielgruppe: Hobby-Anwender, Entwickler, Forschende und datenschutzbewusste Nutzer.

🔗 Integrationen: OpenAI- und Anthropic-kompatible API mit Tool-Calling sowie integrierte und von der Community entwickelte Erweiterungen, etwa für Sprachausgabe, Spracheingabe und Übersetzung.

📊 Funktionen: Chat-Modi (Instruct, Chat, Chat-Instruct), Bildverständnis, Anhänge wie PDF und Textdateien, Nachrichtenbearbeitung und Verzweigung, LoRA-Feinabstimmung, Bildgenerierung über Diffusers-Modelle.

Vor- & Nachteile

✅ Vorteile: Vollständig lokal und ohne Telemetrie nutzbar; viele Backends und Funktionen in einer Oberfläche.

❌ Nachteile: Einrichtung und Modellwahl erfordern technisches Verständnis; die Leistung hängt von der eigenen Hardware ab, und die AGPL-Lizenz kann bei kommerzieller Weitergabe Auflagen bedeuten.

Für wen geeignet?

Perfekt für technikaffine Anwender, die Sprachmodelle lokal, privat und flexibel mit verschiedenen Backends betreiben wollen.