Eine Frage in die Runde: Arbeitet jemand hier mit einer AI Bilderzeugung lokal auf einem M2 oder M3 Mac? Vor allem mit Stable Diffusion (Diffusion Bee, Draw Things oder AUTOMATIC1111)? Was für Geschwindigkeiten sind denn da mittlerweile bei der Bildgenerierung zu erzielen, z.B. 512x512px mit 50 Steps? Gibt es da Optimierungen?

Die Frage ist, ob wegen der rasanten Entwicklung im AI-Bereich Apple nicht doch auf das falsche Pferd gesetzt hat. Wenn man sieht, was für Geschwindigkeiten mit mittelteuren NVIDIA Karten möglich sind, sehen alle Macs komplett alt aus. Da ist Apple (momentan) in einer toten Nische bei der wichtigsten Zukunftstechnologie. Sehe ich das richtig?

Ich sehe das genauso wie du.
Ich nutze Automatic1111 auf einem M1Pro und habe meiner Meinung nach auch alle möglich Optimierungen vorgenommen - aber die Benchmarks sprechen halt für sich. Und ja - selbst der teuerste konfigurierbare Mac ist nur ein Bruchteil so schnell wie eine NVIDIA RTX 4090. Deswegen überlege ich auch einen PC mit Linux zu bauen, aber ich bin allein schon bei der Wahl des Netzteils, von der Idee mir einen PC zusammen zu schrauben, gelangweilt.
Aber um mal einen ungefähren Vergleich in die Runde zu werfen
Eine RTX 4090 würde meine Leistung laut den Benchmarks ca um den Faktor 20x erhöhen.

Wie lange braucht denn bei Dir ein 512x512px Bild in etwa?

Das lässt sich so einfach nicht sagen, das ist von so vielen Faktoren abhängig.
Je nachdem was du wie konfigurierst und welche Plugins du nutzt kann das schonmal die 20min übersteigen.
Ich komm aber laut Benchmark auf 1 it / Sec. (aber auch abhängig vom benutzten Model)
Die RTX4090 macht da bis zu 20 Iterationen.

Ich probiere gerade mit Draw Things auf einem (Intel) Hackintosh mit Vega 56. Ohne Plugins, Upscaler oder Refiner und 50 Steps (default settings) z.B. mit Realistic Vision 5.1 komme ich auf ca. 1:40 min für ein 512x512px Bild.
Es ist ja nicht nur eine Frage der Geschwindigkeit. Bei der Menge an Ausschuss bei der Generierung könnte man bei einer z.B. 10fach schnelleren Generierung viel bessere Resultate erzielen, da z.b. plötzlich das 20ste Bild der absolute Kracher ist.

Mir scheint ein Umbau meines alten PCs mit einer entsprechenden NVIDIA Karte für den Zweck viel sinvoller zu sein als der Kauf eines neuen Macs.

Habe mal gerade nachgemessen – Ausgangslage:

M1 Max in MBP 16"
SD 1.5-basierendes Modell, quantized auf 8 bit, kompiliert für nativ CoreML (also kein PyTorch etc)
20 Steps
512x512
CoreML bei Nutzung GPU ohne ANE

Zwischen 8 und 10 Sekunden ist er stets fertig (macht also etwas mehr als 2 Iterationen pro Sekunde). Sehr interessant: Ein iPad Pro mit M2 bei Nutzung ANE benötigt nach Kompilierung 13 Sekunden – absolut beeindruckend für ein Mobilgerät.

Edit: Ich seh gerade dass ich bei der Messung einen Upscaler zusätzlich ausführte – sprich die Errechnungsdauer verkürzt sich um 1-2 Sekunden, wenn nur das SD-Modell verwendet wird.

Was genau nutzt du auf dem iPad?

michimaier
Etwas eigenes Ankündigung folgt wahrscheinlich noch dieses Jahr.

Also so etwa 8s pro Bild bei 512x512px in einem M1. Hat das jemand in einem M2 oder M3 schon getestet?

Wenn man das hier als Maßstab nimmt:
https://www.tomshardware.com/pc-components/gpus/stable-diffusion-benchmarks
dann ist eine RTX 4090 mindestens 8x schneller, mit unter einer Sekunde pro Bild.

Und z.B. eine 5 Jahre alte RTX 2080 Ti, die man gebraucht für ca. 300 € kriegt, ist viermal schneller, mit ca. 2s pro Bild.

Da AI vermullich in fast jeder zukünftigen Media-Software (Foto, Audio, Video, Spracherkennung usw.) stecken wird, hat Apple anscheinend ein echtes Problem. Ohne NVIDIA geht nichts.

Das YT-Video könnte Dich interessieren. Der M3 Max kommt nicht an eine Nvidia ran, ist aber schon ganz potent.

Danke - sehr interessantes Video.
Aber der 4200 Dollar Monster M3 Mac erzeugt mit 4,5 s pro Bild anscheinend immer noch weniger als ein Viertel des Outputs einer RTX 4090 für 2000 €. Mehr scheint nicht zu gehen.
Dann lieber die RTX 2080 Ti für 300 €, die erzeugt immer noch die doppelte Menge an Bilder wie der neueste teuerste Mac.

Die wichtigste Zukunftstechnologie ist das Erstellen von Fake-Bildern?

<ironie>
Ich lasse meine Wettermodelle anstatt auf der Superdome auch auf dem Mac laufen.
Aber der ist einfach so langsam, der taugt echt nichts.
Da nehme ich doch lieber wieder die Superdome
Die ist dann doch um 100000000 % schneller.
Ich glaube Apple wird da echt abgehängt!!!!!!!!!!!
</ironie>

Lohnt sich damit zu beschäftigen - es gibt vieles jenseits von Fake-Bildern.

Der Gedanke ist, die AI wieder auf die heimischen Systeme zu holen statt remote mit irgendwelchen Abo-Accounts. Da können die Systeme nicht schnell genug sein, bei mir z.B. Rauschunterdrückung für Low-Light Fotos, Auffüllen von Bildlöchern, Vergrößern von Bildern durch Erzeugen von Umgebung, Transkription von Audio/Erzeugung von Untertiteln weil ich kaum noch was höre, irgendwann AI-Assistenten usw.

Die Frage ist wohl aber auch, haben die grossen Software Schmieden wie Adobe überhaupt ein Interesse dass AI-Generierungen lokal ausgeführt werden? Mit Cloud basierten Diensten verdienen sie mehr Geld.
Persönlich fände ich es auch gut, wenn man mehr lokal machen würde und weniger Cloud, denke aber im Massenmarkt wird sich das nicht durchsetzen mit back-to-local.

Die Community-Power von Open Source ist da aber nicht zu unterschätzen.
Mein Traum wäre, irgendwann eine AI mit meinen eigenen Bildern zu trainieren - die aber momentan noch monströs zu groß sind, keine Chance. So ein System wird vermutlich eher aus dem Bereich Stable Diffusion kommen als von Adobe. Und der Rechner würde eher ein PC sein als ein Mac, was sehr schade ist.

Smallersen
Ja nur wirst du über die Open Source Community wohl primär einen sehr kleinen Userkreis ansprechen. Und die werden sich ihre Rechner auch zusammenbauen können mit passender Hardware.

Der durchschnittliche Apple User wird kaum von einer bequemen Cloud Lösung auf ne wahrscheinlich eher kompliziert zu installierende und handhabende Open Source Lösung wechseln.

Anders sieht es sicher aus, sollten Firmen wie Adobe ihre AI Modelle zur lokalen Anwendung zur Verfügung stellen.

Ich versuche sehr längerem Berufskollegen davon zu überzeugen ihre Daten nicht in Clouds zu sichern sondern lokal mittels NAS und nackten Festplatten. Das ist ebenfalls einfach, automatisierbar, kostengünstiger und punkto Datenschutz schlauer. Die Bequemlichkeit ist aber echt hoch..

Das wäre dann eine Karte, wenn die Software das unterstützt, dann können auch mehrere Karten verbaut werden. Und im Gegensatz zum Mac wird auch die CPU nicht ausgebremst, wenn die GPU arbeiten muss.

Ich hätte Zugriff auf alle 3 Prozessoren, aber wie oben schon erwähnt wurde, sind die Parameter viel zu ungenau angegeben. Du müsstest schon sagen, mit welchem Modell, welcher Version und welchen Einstellungen Du rechnest. Draw Things kann man auf der CPU, wahlweise aber auch mit und ohne GPU und/oder Neural Engine laufen lassen. Auch die Betriebssystemversion dürfte eine Rolle spielen.

Grundgütiger. Fakebilder gibt es seitdem der Mensch Bilder macht. Ob mit dem Pinsel, der Kamera oder jetzt mit AI. Wer AI auf Fake reduziert, sollte sich vielleicht ein bisschen in das Thema einlesen.

Hallo Marcel,
danke für die Antwort. Wenn Du Zeit hast für einen schnellen Test wäre das super.
Meine Präferenz wäre der Mac Mini M2 Pro 32Gb - wenn es ein Mac werden sollte.

Ansonsten:
Modell Realistic Vision 1,51 (SD 1.5) verwende ich hauptsächlich, ist meist ähnlich schnell wie das Generic 1.5 Modell.
Ansonsten Default setttings in Draw Things (512x512, 30 Steps, keine Specials). Und dann die schnellst mögliche Kombination aus CPU, GPU und Neural Engine natürlich, keine Ahnung was das jeweils ist. Sicher hängt das auch vom Prompt ab, außerdem ändern sich die Zeiten ja auch wenn man einen Bulk von Bildern erzeugt.
Da käme es auch eher auf Größenordnungen an. Bei mir schwanken die Zeiten sowieso erheblich.

Vermutlich kommt man so nicht unter 8 Sekunden mit dem M2 Pro, nach dem was ich so gelesen habe. Aber der Stand der Dinge kann sich ja geändert haben...

Schlauberger. Hast Du die Überschrift gelesen? AI Bilderzeugung.

Nee, bitte nicht abrutschen in dem Thread wie es hier so oft passiert. Das ist bisher bis auf 2 Beiträge äußerst hilfreich.

Sehe mal die Performance so: Ich kann auf einem M-Mac ohne weiteres SD-Modelle in akzeptabler Geschwindigkeit ausführen – ohne Netzteil, Lüfterlärm und in einem Mobilgerät. 80-90% der verkauften Macs sind Laptops – Apple hat also GENAU auf das richtige Pferd gesetzt wie die M-Chips aufgestellt wurden.

Natürlich sind dedizierte GPUs mit hunderten Watt Leistungsaufnahme schneller, doch Apple entwickelt Geräte für das Gros der Anwender. Stand der Technik ist es einfach nicht möglich, ein Laptop bis 5k Euro mit 4090-GPU-Performance, >10 Stunden Akkulaufzeit, akzeptablen Gewicht und (keinen wahrnehmbaren) Lüftern zu konstruieren.

Ferner hat Apple bereits in den drei Jahren, seit es M-Macs gibt, bei der GPU deutliche Fortschritte erzielt, ohne Kompromisse eingehen zu müssen.

Edit: Habe noch einen wichtigen Punkt vergessen: ALLE M-Macs können mittels CoreML SD-Modelle ausführen – für Entwickler einfach toll, dass es auf allen >=2020er-Macs einfach so funktioniert und selbst Einsteiger-Geräte dies unterstützen.

Stimme Dir völlig zu.
Nur haben sich die Zeiten seit ca. 1 Jahr krass geändert. Mir nutzt ein leiser Mac nix, wenn ein deutlich billigerer PC in gleicher Zeit die vierfache oder achtfache Anzahl von Bildern liefert. Bei AI bedeutet größere Anzahl bessere Qualität.

Die mangelnde Grafik-Power der Silikon-Macs wurde immer bemängelt. Aber das schien vorher nur Gamer zu betreffen, die eh keine Macs verwenden.

Das fällt Apple einfach jetzt auf die Füße, diesen Bereich so vernachlässigtr zu haben all die Jahre. Der Abstand zu NVIDIA ist vermutlich nicht aufzuholen.

Adobe dürfte kein Interesse haben das lokal ausführen zu lassen. Noch ist das ja kostenlos, in Zukunft wird man Credits dafür verwenden müssen. Sicher, man bekommt abhängig von seinem Abo Modell monatlich kostenlose Credits, was für Gelegenheitsnutzer ausreichen könnte. Aber wild herumexperimentieren wird einen sicherlich schnell dazu "zwingen" extra Geld auszugeben.

Sollte man nicht auch Energiebedarf, Kühlung und Lautstärke mit in die Rechnung aufnehmen? Schneller geht immer, nur zu welchem Preis? Deswegen spricht Apple ja auch geschickt immer von Performance/Watt.

Wie schon geschrieben: "Mangelnde Grafikpower" ist wirklich relativ. Im Vergleich zu einer 4090 ist Apple unterlegen – doch der Vergleich ist wirklich unfair, da Apple vorrangig für Laptops Chips entwickelt und die Desktops quasi "Abfallprodukte" sind. Im Laptop-Markt performen die Apple-Chips spektakulär nach allen Maßstäben (sogar Preis/Leistung!), im High-End-Desktop-Markt in der Mid-Range (bei mäßigem Preis-/Leistungsverhältnis). Im Vergleich zu den vorherigen Intel-Modellen sind alle M-Chips ein GIGANTISCHER Sprung nach vorne.

Ich wiederhole mich: Du kannst aktuell keinen Chip herstellen, der alle drei Merkmale bis zum Maximum erfüllt: Performance, Energiekonsum und Preis. Apple hat für >90% der Kunden am Markt die beste Lösung – und kein Interesse daran, die extremen Nischen zu besetzen (günstiges Netbook oder High-End-Performance-Desktop).

Wenn man für so ein Kiste nur EIN Einsatzszenario hat... dann klar.

"Wenn man für so ein Kiste nur EIN Einsatzszenario hat... dann klar."
Darf man hier überhaupt einem neuen Apple "Mac" oder alle "Macs", als eine "Kiste" definieren, bezeichnen, deus-ex?

Das würde Apples Umsatz wohl nicht nennenswert beeinträchtigen. Du kannst ohne »schlechtes Gewissen« direkt loslegen!

Mal eine Zwischenfrage, hier ist immer von NVIDIA Grafikkarten die Rede, wie sieht das denn mit AMD Karten aus, die hatten doch mal einige Zeit die Nase vorn. Da ich das nicht so verfolge, ist das nicht mehr so?

Das ganze KI-Zeugs setzt verstärkt auf Nvidia CUDA (eine Shader-/Compute-Sprache, um Programme auf der GPU laufen zu lassen). Daher haben in diesem Sektor Nvidia-GPUs die Nase vorn.

Ich habe versucht Stable Diffusion auf dem Mac laufen zu lassen. Das klappt auch, allerdings schafft die CPU/GPU Mac-Kombination nicht im Ansatz die Leistung wie ein billiger PC. Das macht keinen Spaß. Teils habe ich 5 Minuten statt 30sek gewartet. Um eigene Trainingsdaten zu berechnen wird es statt Wochen wohl eher Monate auf dem M1/M2 (Studio) dauern. Oder hat das hier schon einer versucht?
Ich studiere das Thema im übrigen gerade im Master an der FH Dortmund (Photographic Studies).

Ansonsten muss man ja auf dem Mac im Terminal grundlegend rumfutschen, da Stabel Diffusion auf dem MacOS nicht einer Simulation läuft. Und im Web runtergeladene Apps im Terminal zu starten... naja das ist so eine Sache...

anbei der Download Link: https://easydiffusion.github.io/docs/installation/

Es ist auch die Frage ob Midjourney nicht reicht? Stabel Diffusion im Original macht ja nur Sinn, wenn man eigene Trainngsdaten - oder gemixte Datensätze verarbeiten möchte. (Midjourney lässt sich monatlich kündigen, wie Netflix)

Apple sehe ich im übrigen nicht abgehängt, da die Zukunft in der Cloud liegt. Ähnlich wie im CGI-3D Bereich macht es wirtschaftlich keinen Sinn mehr die Daten lokal zu berechnen.

Kurze Zwischenfrage an dieser Stelle. Wir nutzen bereits sehr erfolgreich Midjourney, Leonardo.ai und DALL-E im Bereich Produktentwicklung, aber Stable Diffusion ging komplett an uns vorbei, Zeit ist halt begrenzt.

Wie funktioniert das mit der lokalen Ausführung, bleibt der Wissenstand auf der installierten Version stehen oder kommen da neue Inhalte und Verbesserungen hinzu?

Um das auf dem Mac auszuführen benötigt man DiffusionBee, unter Windows AUTOMATIC1111, richtig?

Würde das dann mal auf meinem M1 Ultra 64 core GPU und dem PC mit RTX 3090 hier neben mir testen.

Siehe meine Post vor Dir.
Du lädst Dir einen Trainingssatz herunter. Der wird ab und zu geupdatet, musst Du aber selbsständig herunterladen. Aktuell ist der XL ganz gut, da die Daten auf 1024x1024 Bildern beruhen.

Wenn du Tipps willst, musst du uns schon ein paar mehr Details liefern. Welches Model verwendest du? Wie führst du das ganz aus? Welcher Billige ist denn schneller mit welcher Software?

Nein, du kannst auf dem Mac auch Automatic1111 nutzen. (würde ich dir sogar empfehlen wenn du schon mit DiffusionBee Erfahrung gemacht hast)

Stable Deffusion ist Stable Defussion. Siehe Link. Als Modell verwende ich gerne den neuen XL Datensatz, aber das beeinträchtigt nicht die Geschwindigkeit. Welchen PC die anderen benutzen? keine Ahnung. Die haben da billige Lenovo Studenten Laptops. Nichts dolles.
Ansonsten kann man Deine Frage nicht so konkret beantworten. Einfache Bilderzeugung a la Midjourney - unabhängige vom Trainingssatz - dauert auf einem Aldi-PC ca. 30sek. Auf dem MacStudio M1 ca. 3-5min. Bei ca. 20.000 Durchgangen zum Erzeugen einer Blume habe ich abgebrochen.

Das Trainieren der Daten ist eine ganz andere Nummer. Auf dem schnellsten PC in der Uni dauert das Trainieren eines einfachen Looks ca. 1 Woche. Neulich hatten wir eine Vorlesung vom M.I.T. (USA) und die arbeiten schon mit Quantencomputern.

[quote=A500]
Kurze Zwischenfrage an dieser Stelle. Wir nutzen bereits sehr erfolgreich Midjourney, Leonardo.ai und DALL-E im Bereich Produktentwicklung, aber Stable Diffusion ging komplett an uns vorbei, Zeit ist halt begrenzt.
quote]

Midjourney und Leonardo beruhen/sind Stable Diffusion, die haben eben nur ihre eigenen Datensätze erstellt. DALL-E ist ein eignes System von Open-AI und deshalb hingt es auch etwas SD hinterher.

Sorry, aber das ist quatsch. Stable Diffusion ist nicht gleich Stable Diffusion. Die Modelle, besonders XL, ist deutlich anders und erheblich Leistungshungriger. Auch das Environment (Pytorch, CoreML etc) haben extremen Einfluss, wie schnell das geht. Wenn du natürlich XL mit PyTorch nutzt, die anderen SD 1.5, kommen solche Unterschiede zustande.

"Billige Lenovo-Laptops", am besten noch mit GMA, werden von M-Macs um LÄNGEN geschlagen, bei GPU wie auch bei CPU und ANE.

Mal zum Verständnis gefragt: Müsste ein Modell, das CoreML nutzt, nicht ebenso schnell sein wie die PyTorch-Modelle auf NVIDIA-Karten? Oder verwechsle ich da was?
Ich habe es so verstanden, dass nur CoreML-Modelle von den Hardware-Möglichkeiten der Neural Engine Gebrauch machen, PyTorch läuft wohl mit MPS rein auf der GPU.
Und weil hier CUDA angesprochen wurde: Was genau ist im Zusammenhang mit KI CUDA, TensorFlow / Metal, CoreML usw.
Sprich welche (falls vorhanden) äquivalenten Lösungen hat Apple anzubieten, die in der NVIDIA-Welt für diese beeiddruckende KI-Performance verantwortlich sind?

Ich sehe jedenfalls bei Stable Diffusion eine giganische Community, die Modelle und alle Arten von Erweiterungen rasant schnell voran entwickelt. Vielleicht überholt die Qualität Midjourney irgendwann sogar. (Porno ist anscheinend mal wieder der Treiber, wie so oft).
Da aktuelle MACs jetzt schon so weit hinterherhinken, wird sich das Problem noch vergrößern. Im PC kann man einfach die Grafikkarte den Erfordernissen der Zeit anpassen - mindestens im Jahresturnus.

Ich bin ja auf einen Mac Studio Max M2 32Gb gewechselt.
Da werden mit dem neuen Diffusion Bee 2.3 jetzt 6 sec pro Bild erreicht (SD1.5, 512x512, 25 Steps), genau 30% schneller als vorher mit DB 2.2, selbst gemessen. Für Hobby ist das akzeptabel. Schnelleres hab ich noch nicht gefunden.
https://github.com/divamgupta/diffusionbee-stable-diffusion-ui/releases

Lässt du das auf GPU oder Neural Engine laufen?

Kann man bei Diffusion Bee anscheinend nicht einstellen. Falls es eine versteckte Möglichkeit gibt, das zu kontrollieren, hab ich es noch nicht gefunden. Diffusion Bee ist ja installationsfrei.

Das ist eine frühe Alpha-Version für SDXL Models. Ein Importversuch des Juggernaut SDXL Models schlug eben fehl. Das Base-SDXL-Model lässt sich einsetzen, es fehlt noch die Bildgröße 1024x1024 in den Settings. Die Geschwindigkeit ist mit SDXL auch super, 768x768 in 8 sec.