BanglaBERT

github.com/csebuetnlp/banglabert ist das Repository von BanglaBERT, einem ELECTRA-basierten Sprachmodell, das speziell für Bengalisch vortrainiert wurde und für Aufgaben wie Textklassifikation, Erkennung benannter Entitäten und Frage-Antwort-Systeme feinjustiert werden kann.

🛡️ Datenschutz: Das Modell wird lokal oder selbst gehostet betrieben und wird als Open-Source-Download bereitgestellt; ein Datenabfluss an den Anbieter ist beim Betrieb auf eigener Hardware nicht vorgesehen, soweit aus der Dokumentation ersichtlich. Entwickelt wurde es von der CSE-NLP-Gruppe der BUET in Bangladesch. Die Lizenz (CC BY-NC-SA 4.0) erlaubt nur nicht kommerzielle Nutzung.

Das Tool richtet sich an Forschende und Entwickelnde, die bengalische Texte maschinell verarbeiten.

Tool-Details & Features

💰 Preise: Kostenloser Download der Modelle; Nutzung nur nicht kommerziell (CC BY-NC-SA 4.0).

⚙️ Technik: ELECTRA-Diskriminator mit etwa 110 Millionen Parametern, in der Transformers-Bibliothek verwendbar; ein vorgegebener Normalisierungsschritt vor der Tokenisierung wird empfohlen. Vortraining mit 27,5 GB bengalischem Text von 110 Websites.

👥 Zielgruppe: NLP-Forschende, Studierende und Entwickelnde mit Python- und PyTorch-Kenntnissen.

🔗 Integrationen: Verfügbarkeit über Hugging Face; Fine-Tuning-Skripte im GitHub-Repository.

📊 Funktionen: Sequenzklassifikation (Stimmung, Emotion, Dokumentkategorien, Inferenz), Token-Klassifikation (Entitäten, Wortarten), Frage-Antwort-Aufgaben; weitere Varianten wie BanglaBERT Small, Large und BanglishBERT.

Vor- & Nachteile

✅ Vorteile: Offen verfügbares Modell für eine ressourcenarme Sprache; Benchmark BangLUE und Fine-Tuning-Skripte werden mitgeliefert; läuft lokal.

❌ Nachteile: Lizenz verbietet kommerzielle Nutzung; kein Chatmodell, sondern ein Encoder, der für Aufgaben feinjustiert werden muss; technisches Know-how nötig.

Für wen geeignet?

Perfekt für NLP-Forschende und Entwickelnde, die bengalische Textklassifikation oder Entitätserkennung nicht kommerziell umsetzen wollen.