Petals

petals.dev ist Petals, ein quelloffenes System, mit dem große Sprachmodelle wie Llama 3.1, Mixtral, Falcon und BLOOM nach BitTorrent-Prinzip verteilt auf den GPUs freiwilliger Teilnehmender betrieben und feinabgestimmt werden.

🛡️ Datenschutz: Community-getragenes Projekt aus dem Umfeld der BigScience-Initiative, ohne ausgewiesenen Firmensitz. Laut Projektseite werden Daten im öffentlichen Schwarm mit Hilfe anderer Teilnehmender verarbeitet; für sensible Daten wird ein privater Schwarm mit vertrauenswürdigen Beteiligten empfohlen. Ein AVV und Zertifizierungen sind nicht öffentlich dokumentiert, daher ist der öffentliche Schwarm für personenbezogene Daten ungeeignet.

Das Tool richtet sich an Forschende, Entwickler und Technikinteressierte, die sehr große Modelle ohne eigene Hochleistungs-GPUs ausprobieren oder feinabstimmen wollen.

Tool-Details & Features

💰 Preise: Open Source unter MIT-Lizenz und kostenlos nutzbar; der Betrieb basiert auf freiwillig bereitgestellter GPU-Kapazität.

⚙️ Technik: Das Modell wird in Blöcke geteilt, die auf verschiedenen Rechnern im Schwarm laufen; Nutzung über Python-Bibliothek mit PyTorch und Transformers, Test per Google Colab, Chat-Oberfläche und Health-Monitor sind verfügbar.

👥 Zielgruppe: Forschung, Entwicklung und Lehre im Bereich großer Sprachmodelle.

🔗 Integrationen: PyTorch und Hugging Face Transformers; Colab-Notebook, Chat-Oberfläche unter chat.petals.dev und Schwarm-Monitor unter health.petals.dev.

📊 Funktionen: Verteilte Inferenz, Feinabstimmung, Bereitstellung eigener GPU-Kapazität, Schwarm-Monitoring, Unterstützung mehrerer Modellfamilien.

Vor- & Nachteile

✅ Vorteile: Zugang zu sehr großen Modellen ohne eigene Spezialhardware; flexible Feinabstimmung mit bekannten Python-Werkzeugen.

❌ Nachteile: Daten laufen über fremde Rechner des öffentlichen Schwarms; Verfügbarkeit und Geschwindigkeit hängen von freiwilligen Teilnehmenden ab.

Für wen geeignet?

Perfekt für Forschende und Entwickler, die große Open-Source-Modelle kostengünstig testen und dabei nur unkritische Daten verwenden.