YuE

github.com/multimodal-art-projection/YuE ist ein quelloffenes KI-Grundlagenmodell für Musikgenerierung, das aus Songtexten vollständige, mehrminütige Songs mit Gesang und Instrumentalspur erzeugt.

🛡️ Datenschutz: Das Projekt wird von der Hong Kong University of Science and Technology (HKUST) und dem Forschungskollektiv M-A-P geleitet und von weiteren Organisationen unterstützt; der Betrieb erfolgt als selbst gehostetes Open-Source-Modell, sodass Eingaben bei lokaler Ausführung auf dem eigenen System bleiben. Angaben zu AVV, EU-Hosting oder Zertifizierungen sind nicht öffentlich dokumentiert, da kein gehosteter Dienst angeboten wird.

Das Tool richtet sich an Entwickler, Forschende und Musikschaffende, die Songs aus Texten mit einem offenen Modell erzeugen wollen.

Tool-Details & Features

💰 Preise: Open Source unter Apache-2.0-Lizenz und kostenlos nutzbar; Kosten entstehen nur für eigene Hardware oder Cloud-Rechenzeit.

⚙️ Technik: Musikgenerierungsmodell in mehreren Größen (unter anderem 7B und 1B Parameter), das über Hugging Face bezogen wird und per Code aus dem GitHub-Repository läuft.

👥 Zielgruppe: Forschende, Entwickler, Musikproduzenten und Content-Ersteller.

🔗 Integrationen: Hugging-Face-Modelle, GitHub-Code, Gradio-Oberfläche und LoRA-Feinabstimmung.

📊 Funktionen: Lyrics-zu-Song-Generierung, Gesang und Instrumentalspur getrennt, Mehrsprachigkeit (Englisch, Mandarin, Kantonesisch, Japanisch, Koreanisch), Stilübertragung und Stimmklonierung per Referenzaudio, LoRA-Feinabstimmung.

Vor- & Nachteile

✅ Vorteile: Offene Lizenz und vollständige Songs inklusive Gesang; mehrere Modellgrößen und Fine-Tuning-Möglichkeiten.

❌ Nachteile: Hoher Hardwarebedarf und technische Einrichtung; Deutsch ist nicht unter den aufgeführten Sprachen, und Rechtsfragen bei Stimmklonierung müssen selbst geprüft werden.

Für wen geeignet?

Perfekt für Entwickler und Musikinteressierte, die komplette Songs aus Texten mit einem offenen Modell lokal erzeugen wollen.