Apple Vision Pro: Foveated Rendering – Tricksen für gefühlte Performance – was ist das?
Apple stellte am gestrigen Abend "Vision Pro" vor – ein Virtual-Reality-/Augmented-Reality-Headset. Mit der Brille lassen sich iOS- und iPad-Programme völlig frei im Raum positionieren und auch die Darstellung von kompletten Virtual-Reality-Welten ist laut Apple möglich. Das Headset kommt laut dem Konzern mit zwei getrennten Bildschirmen mit kombiniert insgesamt 23 Millionen Pixeln daher. Zum Vergleich: Ein einzelner 4K-Bildschirm mit einer Auflösung von 3840x2160 Pixeln bringt es auf 8,3 Millionen Pixel.
Das Apple Vision Pro bringt einen M2-Chip mit – aber Apple hat bislang noch nicht verraten, ob es sich hier um einen normalen M2-Chip handelt oder ob dieser mit einer stärkeren Grafikeinheit versehen ist. Zwar bieten Apples M-Chips, verglichen mit den integrierten Grafikeinheiten der vorherigen Intel-Chips, deutlich mehr Grafik-Power – dennoch stellt sich die Frage, wie ein M2 insgesamt 23 Millionen Pixel mit flüssiger Grafik füllen will.
Augen-TrackingApple Vision Pro kann erkennen, wohin der Nutzer gerade blickt. Dies wird durch zwei Komponenten ermöglicht: Das Headset erleuchtet den Raum zwischen dem Gesicht des Nutzers und dem Headset mit Licht im Infrarot-Bereich. Das ist nicht mit dem Auge sichtbar, aber eine spezielle Kamera kann so erkennen, wohin der Nutzer den Blick richtet. Den Umstand nutzt Apple unter anderem für die Bedienung: Blickt der Nutzer auf ein Kontrollelement, erkennt visionOS das und löst eine bestimmte Aktion aus.
Nur in der Mitte scharfDoch Apple macht sich die Information, wohin der Träger gerade schaut, noch auf eine andere Weise zunutze. Das menschliche Auge kann nur in einem sehr begrenzten Bereich scharf sehen – andere Bereiche sind verschwommen. Daher ist es nicht sinnvoll, wenn das Headset den gesamten Inhalt in voller Auflösung rendert. Es genügt vollständig, wenn ein kleiner Bereich, auf welchen der Nutzer gerade blickt, mit höchster Auflösung gezeichnet wird.
Dieses Verfahren nennt sich "Foveated Rendering" und steht bereits auf anderen Headsets zur Verfügung, um Rechenleistung zu sparen und so die Darstellungsqualität zu erhöhen. Über besagtes Verfahren kann Apple beim Headset sehr viel Rechenleistung der Grafikeinheit einsparen.
Konkurrenzfähig?Ob allerdings die Rechenleistung ausreichend ist, um es beispielsweise mit Meta Quest 3 oder PlayStation VR2 bezüglich immersiver 3D-Welten aufzunehmen, werden erst Hands-On-Berichte zeigen. Es ist unerlässlich, möglichst hohe Bildraten im Bereich von 90 bis 120 Hz zu erzeugen, da ansonsten mit Übelkeit des Nutzers zu rechnen ist. Brillen anderer Hersteller tricksen hier oftmals: Die Bildrate eines Spiels liegt meist deutlich niedriger – und es wird beispielsweise nur jedes zweite oder dritte Bild tatsächlich gezeichnet. Die übrigen Frames werden durch eine Technik namens "Reprojektion" erzeugt: Hier nimmt man das letzte Bild als Grundlage und verschiebt es leicht in die Richtung, in welche der Träger seinen Kopf gerade bewegt. So entsteht die Illusion einer sehr hohen Bildrate – ohne wirklich alle Zwischenbilder tatsächlich errechnen zu müssen.