Zwei Patente, die in diesen Tagen vom Europäischen Patentamt veröffentlicht worden sind, drehen sich um Apples AR-Projekte. In dem einen beschreibt das Unternehmen, wie es Eye-Tracking und Augmented Reality (AR) so miteinander kombiniert, dass der Nutzer nur die Inhalte hochauflösend dargestellt bekommt, die er auch fokussiert. Das Patent spricht von "Foveated Display" – die Fovea centralis ist die Sehgrube, der Bereich des schärfsten Sehens im Auge. Im anderen Patent beschreibt Apple seine AR-Windschutzscheibe.


AR auch in Deutschland entwickelt
Schon seit Jahren stauen sich die Gerüchte, dass Apple eine eigene AR-Brille entwickelt. Sowohl in Deutschland – vermutlich nach dem Kauf von SensoMotoric Instruments aus Teltow – als auch in Israel soll Apple an verschiedenen Standorten daran arbeiten. Zuletzt hieß es, die Brille enthalte zwei 8k-Displays und einen Spezialchip in 5nm-Bauweise, der die riesigen Datenmengen berechne.

Foveated Displays verringern Daten-Bandbreite
Um die Bandbreite zu reduzieren, will Apple "foveated displays" einsetzen, so steht es in dem nun veröffentlichten Patentantrag. Dabei geht es darum, die AR-Bilder in mehreren Auflösung zu rendern, um in der per Eye-Tracking festgestellten Blickrichtung hochauflösende Varianten und in den Nebenregionen der Sicht niedriger aufgelöstes Material einzublenden. In dem Patentantrag ist die Rede davon, die Bilder im Peripherbereich rund achtmal niedriger aufzulösen. Das Dokument kennt noch zwei weitere Bereiche, die zwischen dem hochaufgelösten Fokus und dem Randbereich liegen. Sie soll die Brille dann mit der halben beziehungsweise einem Viertel der Auflösung darstellen. Stimmen die 8k-Display pro Auge, würde das Display die Auflösung also stufenweise bis zu 960 x 540 Punkte herunterrechnen.

Detailliertes Patent beschreibt AR-Windschutzscheibe
Viele Gedanken hat sich Apple über ein Head-Up-Display im Auto gemacht, das zeigt eine umfangreiche Patentanmeldung, die kürzlich das Europäische Patentamt veröffentlichte. Darin beschreibt Apple die grafische Überlagerung des Fensters mit allerhand Informationen, etwa der Geschwindigkeit. Das Vehicle Navigation System (VNS) steuert nicht nur das Auto, sondern kann durch seine umfangreichen Sensordaten auch komplexe Umgebungsbilder einblenden. Dabei geht es unter anderem um das Erkennen und Zeigen von Verkehrsschildern. Zum Anderen kann das System aufgenommene Bilder der Frontkamera aufwerten und wieder einblenden. Varianten könnte das System auch übereinandergelegt zeigen.

System beobachtet Insassen und entscheidet Einblendungen
Besonders spannend liest sich in diesem Zusammenhang, wie das VNS Stessniveau und kognitive Belastungen seiner Insassen misst und die Anzeigen entsprechend anpasst. Als mögliche Merkmale, um die Belastung der Menschen im Auto zu erkennen, nennt Apple Körperhaltung, Gesten, Körpertemperatur, Herz- und Atemfrequenz, Augenzwinkerrate, Augen- und Kopfbewegungen und Kombinationen davon. Wenn das System feststellt, ein Insasse stehe unter Stress oder vor einer Panik, kann es entsprechend die Informationsfülle anpassen.

FaceTime von Fahrzeug zu Fahrzeug
Eine weitere technische Errungenschaft, die in dem Patent anklingt, sind FaceTime-Anrufe zwischen Insassen in Apple-Fahrzeugen. Die entsprechenden Gesprächspartner können dann über AR eingeblendet werden.



Weiterführende Links:

• Apples Augmented Windshield
• AR Glasses /w Foveated Display