Um Apple-Geräte zu steuern, ist in den meisten Fällen ein physischer Kontakt zum Gerät notwendig: Tastaturen, Mäuse, Touchscreens und Trackpads setzen darauf, dass Anwender ihre Hände in direkten Kontakt mit dem Gerät treten, um per Tippen, Wischen, Klicken, Zwicken, Drehen oder Spreizen den Interaktionswunsch zu übermitteln. Erst das im Jahr 2024 veröffentlichte Spatial-Computing-Headset „Apple Vision Pro“ entledigte sich erstmals des direkten Gerätekontakts: Integrierte Kameras analysierten Augen- und Handbewegungen, um Wünsche des Anwenders zu interpretieren und in die Tat umzusetzen. Ein neues Patent beschreibt nun, wie dies zukünftig auch auf andere Geräte übernommen werden könnte.


Das am 8. April 2025 vom US-Patenamt bewilligte Patent mit der Nummer 12271531 führt zunächst viele Details der Vision Pro auf, welche für eine Gestenerkennung zur Anwendung kommen. Im weiteren Verlauf beschreibt das Dokument jedoch, wie ebendiese Interaktionen auch bei traditionellen Computern zum Einsatz kommen könnten. Als Sensoren, so signalisieren die vielfältigen Abbildungen, können sowohl die komplexe Sensorik eines AR-Headsets als auch integrierte oder angeschlossene Kameras herangezogen werden. Die CPU des jeweiligen Geräts erkenne dann Gesten und setze sie in entsprechende Interaktionen im jeweiligen Betriebssystem um.


Gestensteuerung bisher Zukunftsmusik
Eine einzelne Geste hat bereits den Sprung von der Vision Pro auf ein weiteres Gerät geschafft: Wer eine Apple Watch Series 9, Ultra 2 oder neuer besitzt, kann mit Daumen und Zeigefinger eine Doppeltipp-Geste ausführen. In früheren Jahren gab es bereits Konzepte, um Gestensteuerung von der Berührung zu entkoppeln. Mit Leap Motion kam im Jahr 2013 ein kabelgebundenes Kästchen auf den Markt, mit dem sich ein Mac über Handbewegungen im freien Raum steuern ließ. Das Produkt konnte jedoch nicht genügend Anwender überzeugen, weswegen die Herstellung bald eingestellt und das Unternehmen im Jahr 2019 verkauft wurde.