"Think different" war der Kernsatz von Apples Werbekampagne um die Jahrtausendwende. Der Satz prägt das Image des Konzerns bis heute und inspirierte möglicherweise sogar das KI-Forschungsteam: Anstatt auf bewährte Algorithmen zu setzen, welche bei Wettbewerbern wie OpenAI zur Anwendung kommen, wandeln Apples Entwickler offenbar gezielt auf wenig ausgetretenen Pfaden, um Limitierungen etablierter Ansätze von vornherein zu umgehen. Ein neues Forschungspapier zur Erzeugung langer Texte, welches auf Apples Forschung basiert, zeigt nun den Fortschritt: Mit der beschriebenen diffusionsbasierten Methodik konnten Apples Entwickler ein Modell erzeugen, dass seine Vorteile insbesondere bei langen Texten ausspielt.


Wer bei ChatGPT eine Frage abschickt, kann dem großen Sprachmodell bei der Arbeit zusehen: Wort für Wort entsteht eine Antwort. Das entspricht der Arbeitsweise der Autoregression: Silbe für Silbe arbeitet sich der Algorithmus voran und überprüft, ob das neue Segment zum bisher Entstandenen passt. Diffusionsbasierte Sprachmodelle wählen einen anderen Ansatz; sie beginnen an mehreren Stellen zugleich und verfeinern die Ausgabe zunehmend, bis allmählich ein kohärentes Resultat entsteht. Während der Autoregressionsansatz mit zunehmender Länge der Antwort aufwendiger wird, erfordert der Diffusionsansatz üblicherweise eine hohe Zahl aufeinanderfolgender Verfeinerungsschritte – hunderte, ja tausende rechenintensive Iterationen sind notwendig für eine brauchbare Antwort.

Rechenaufwand auf ein 128stel reduziert
Durch die Kombination von Diffusion mit einer neuen Methode namens Few-Step Discrete Flow-Matching (FS-DFM) konnte Apples KI-Abteilung den Rechenaufwand von 1024 auf 8 Überarbeitungsschritte reduzieren – bei vergleichbarer Qualität der Resultate. Die Forscher bewerten ihren Ansatz als großen Geschwindigkeitsvorteil bei der Verwendung von diffusionsbasierten großen Sprachmodellen. Vergleiche mit ebenfalls auf acht Schritte limitierten Modellen (Dream-7B und LLaDA-8B) erzeugen lediglich kurze Sätze oder repetitiven Wortsalat, während die Eigenentwicklung FS-DFM-0.17B eine verständliche und brauchbare Antwort lieferte. Demnächst wollen die Forscher sowohl das Modell als auch Resultate öffentlich verfügbar machen.


Umfangreiche Grundlagenforschung
Auch wenn Apple Intelligence und die Entwicklung einer LLM-basierten Siri aus Anwendersicht auf der Stelle zu treten scheinen, zeigt sich an den Veröffentlichungen auf Apples Machine-Learning-Blog, dass der Konzern grundlegend und nachhaltig an dem Thema arbeitet. Wie lange es dauern wird, bis sich diese in spürbaren Verbesserungen in Apples Betriebssystemen manifestieren, wird die Zukunft zeigen.