Garak

github.com/NVIDIA/garak ist garak, ein kostenloser Open-Source-Scanner für Schwachstellen großer Sprachmodelle, der Modelle gezielt auf Fehlverhalten wie Prompt Injection, Jailbreaks, Datenabfluss, Halluzinationen und Toxizität testet.

🛡️ Datenschutz: Open-Source-Projekt, gepflegt von NVIDIA (USA) und unter Apache-2.0-Lizenz veröffentlicht; es gibt keinen Cloud-Dienst, das Werkzeug wird selbst installiert und betrieben. Daten verlassen die eigene Umgebung nur, wenn Zielmodelle über externe APIs angesprochen werden; Zertifizierungen oder ein DPA sind für das Projekt nicht öffentlich dokumentiert, daher sollte bei Tests gegen externe Modell-Anbieter vorab ein AVV/DPA des jeweiligen Anbieters geprüft werden.

Das Tool richtet sich an Sicherheitsforschende, KI-Entwickler und Red-Teams, die Sprachmodelle vor dem Einsatz auf Schwachstellen prüfen wollen.

Tool-Details & Features

💰 Preise: Open Source und kostenlos; Kosten entstehen nur durch die Nutzung der getesteten Modelle und APIs.

⚙️ Technik: Python-Werkzeug, Installation per pip, Bedienung über die Kommandozeile mit Auswahl von Zielmodell-Typ, Modellname und Probes.

👥 Zielgruppe: Sicherheitsforschende, KI-Entwickler, Red-Teams und Teams für Modellprüfung.

🔗 Integrationen: Anbindung an Hugging Face Hub, OpenAI-API, AWS Bedrock, Replicate, Cohere, Groq, LiteLLM, llama.cpp (ggml), REST-Endpunkte und NVIDIA-NIM-Endpunkte.

📊 Funktionen: Mehr als 20 Probe-Module, darunter DAN-Angriffe, Prompt Injection, Jailbreaks, Kodierungsangriffe, Toxizitäts- und Halluzinationstests, Ausgabe von Fehlerquoten je Probe.

Vor- & Nachteile

✅ Vorteile: Kostenlos und quelloffen mit breiter Unterstützung gängiger Modell-Schnittstellen; große Auswahl vorgefertigter Angriffs-Probes.

❌ Nachteile: Bedienung per Kommandozeile erfordert technische Kenntnisse; Ergebnisse müssen fachlich eingeordnet werden, ein Support-Angebot ist nicht dokumentiert.

Für wen geeignet?

Perfekt für Entwickler und Sicherheitsteams, die Sprachmodelle kostenlos und automatisiert auf Schwachstellen testen wollen.