Eine beständige Herausforderung bei der Arbeit mit generativen Large Language Models (LLMs) sind nachträgliche Korrekturen: Oftmals fällt es schwer, der KI zu verdeutlichen, welches Detail man denn gerne verbessern würde. In einem Forschungspapier stellt ein Team von Apple-Entwicklern ein interessantes Konzept vor, um diesem Problem beizukommen: Die zunehmend verschachtelten Elemente einer Bedienschnittstelle bilden ein interaktives Diagramm; Anwender können mit ihnen interagieren, um gezielt bestimmte Bereiche zu ändern.


SQUIRE, so nennen Apples KI-Forscher ihre Software, steht für „Slot QUery Intermediate REpresentations“. Sie dient der KI-gestützten Entwicklung von User-Interface-Prototypen, etwa für Apps und Web-Seiten. UI-Designer beginnen mit einem Auftrag an die KI in natürlicher Sprache (Prompt). Dazu fragt ein Assistent noch ein Code-Beispiel ab, um die Struktur darzustellender Daten im Entwurf zu berücksichtigen. In einer Abfolge interaktiver Fragen legen die Anwender dann das Grundlayout fest. Alternativ klicken sie auf „Auto“, um dem LLM das Arrangement ganz oder teilweise zu überlassen.

Live-Vorschau und Organigramm
Auf der rechten Seite des Bildschirms erscheint eine aktuelle Vorschau des Resultats, welches auf Basis der beigefügten Beispieldaten umgesetzt wird. Links versammeln sich die einzelnen Komponenten (Textfelder, Bilder, Buttons, Regler etc.) in einer verschachtelten Ansicht. Die Anwender werden damit in die Lage versetzt, ihren Prompt zielgenau auf ein Element zuzuschneiden. Ebenso leicht ist es, zusätzliche (interaktive) Objekte hinzuzufügen; das LLM (in diesem Fall gpt-4o von OpenAI) schlägt sogar kontextbezogen neue Elemente vor.


Studie mit 11 Designern
Um die Praxistauglichkeit zu überprüfen, ließen die Entwickler elf Webdesigner zwei Projekte mit SQUIRE umsetzen: eine Website zum Recherchieren von Kinofilmen sowie eine Präsentation von Wanderwegen. Dabei wurden alle Interaktionen aufgezeichnet und die Teilnehmer im Abschluss nach ihrer Einschätzung gefragt. Insgesamt zeigte sich die Mehrheit der Probanden von der Software angetan. Allerdings waren einige von der abstrakten Organigramm-Darstellung nicht überzeugt.

Umsetzung für SwiftUI?
Wahrscheinlich bleibt es langfristig nicht bei reiner Grundlagenforschung. Es wäre vorstellbar, dass Apple ein derartiges Werkzeug in die eigenen Entwickler-Tools mit aufnimmt – möglicherweise als „SwiftUI Playground“. Die nun auf dem Machine-Learning-Blog veröffentlichte Forschungsarbeit belegt jedenfalls, dass Apple weiterhin mit viel Engagement daran arbeitet, Machine-Learning- und KI-Fähigkeiten in sinnvolle Bedienkonzepte zu gießen.