Die Navigation des neuen „Spatial-Computers“ aus Cupertino setzt sich aus Eye-Tracking und Gestensteuerung zusammen. Ein reibungsloser Ablauf gelingt nur, wenn das System bereits so früh wie möglich erkennt, was sich gerade im Fokus des Betrachters befindet. Das neue System namens visionOS stützt sich hierbei auf verschiedene Techniken der Hirnforschung, um herauszufinden, was der Benutzer als Nächstes tun könnte.


Jahrelange Grundlagenforschung
Sterling Crispin lüftete am Montag in einem Twitter-Post nun einige Überlegungen, die in das Projekt eingeflossen sind. Als Neurotechnology Prototyping Researcher verbrachte er mehr als 9 Jahre mit der Entwicklung essenzieller Funktionen rund um das neueste Apple-Produkt. Er beschreibt seine Arbeit als Meilensteinforschung im Bereich Neurotechnologie. Als Beispiel führt er das „Gedankenlesen“ an. Obwohl der Großteil seiner Arbeit einer Verschwiegenheitserklärung unterliegt, konnte er über einige Aspekte sprechen, die bereits in Patenten veröffentlicht wurden.

Mentale Zustände erkennen
Mit einer Reihe verschiedener Parameter können KI-Modelle versuchen, kognitive Zustände des Trägers vorherzusagen. Unter anderem bediene sich die Brille dazu dem Eye-Tracking, elektrischer Aktivitäten, dem Herzschlag, Muskelaktivitäten, Blutdruck-, Hautleit- und anderen Messwerten. Im Gegenzug liefern die Modelle Rückschlüsse darauf, ob der Nutzer beispielsweise „neugierig ist, in Gedanken abschweift, Angst hat, aufmerksam ist oder sich an ein vergangenes Erlebnis erinnert“, schreibt Crispin. Beispielsweise würde die Pupille bereits vor dem Klick reagieren, in Erwartung, dass nach der Interaktion etwas passiere. Dieses Biofeedback würde aufgezeichnet und anschließend genutzt, um die Benutzeroberfläche in Echtzeit umzugestalten. Hierdurch lässt sich die vorausschauende Pupillenreaktion weiter verstärken und man erhalte eine noch präzisere Vorhersage.


Positive Beeinflussung
Ein anderer Trick sei die Wiedergabe von Bildern oder Tönen, die der Träger nicht bewusst wahrnehme. Die Reaktion auf diese Impulse ließe sich messen und der Zustand der Immersion hierüber bestimmen. Maschinelles Lernen kann dann Aufschluss über Zustände wie Konzentration, Entspannung oder Aufnahmevermögen geben. Die virtuelle Umgebung könne entsprechend angepasst und der Zustand des Nutzers verbessert werden. Crispin spricht von einer Vielzahl weiterer Dinge, an denen er beteiligt war, die allerdings noch nicht in Patenten der Öffentlichkeit zugänglich gemacht worden seien.