Segment Anything

Segment Anything (SAM) ist ein Modell zur Bildsegmentierung, das aus Eingaben wie Punkten oder Boxen Objektmasken erzeugt und auch Masken für alle Objekte eines Bildes automatisch erstellen kann; der Nachfolger SAM 2 erweitert dies auf Videos.

🛡️ Datenschutz: Open-Source-Software (Apache-2.0-Lizenz für Modell und Code laut Repository), die in der eigenen Umgebung installiert und betrieben werden kann; die Verarbeitung erfolgt dann dort und nicht zwingend bei einem Anbieter. Der Sitz des Herstellers ist auf den geprüften Seiten nicht genannt und nicht öffentlich dokumentiert.

Das Tool richtet sich an Forschende, Entwickler und ML-Teams, die Objekte in Bildern oder Videos segmentieren wollen, auch ohne aufgabenspezifisches Training.

Tool-Details & Features

💰 Preise: Kostenlos nutzbar unter Apache-2.0-Lizenz; Rechenkosten entstehen durch die eigene Hardware.

⚙️ Technik: Transformer-basiertes Modell in drei Varianten (ViT-H, ViT-L, ViT-B); benötigt PyTorch und torchvision, GPU empfohlen. SAM 2.1 bietet vier Checkpoints von Tiny bis Large und nutzt eine Streaming-Gedächtnisarchitektur für Videos.

👥 Zielgruppe: Forschung, Bildverarbeitung, Annotationswerkzeuge und Entwickler von Vision-Anwendungen.

🔗 Integrationen: ONNX-Export für den Einsatz im Browser; Einbindung in Python-Projekte über das Repository; Web-Demo vorhanden.

📊 Funktionen: Segmentierung per Punkt oder Box, automatische Maskengenerierung, Zero-Shot-Segmentierung, bei SAM 2 Video-Tracking mehrerer Objekte.

Vor- & Nachteile

✅ Vorteile: Freie Lizenz, flexible Eingabe über Prompts, Nachfolger mit Videounterstützung.

❌ Nachteile: Technisches Know-how nötig; das ursprüngliche SAM-Repository gilt als stabile Basis, aktive Weiterentwicklung findet bei SAM 2 statt; leistungsfähige GPU für die großen Varianten sinnvoll.

Für wen geeignet?

Perfekt für Entwickler und Forschende, die ein vielseitiges Segmentierungsmodell in eigene Pipelines einbauen möchten.