Apple stellte ARKit (Augmented-Reality-Kit) zum allerersten Mal auf der Worldwide Developers Conference im Sommer 2017 der Öffentlichkeit vor – und Entwickler wie auch Kunden waren begeistert. Die Technologie erlaubt es, 3D-Modelle in die Realität zu integrieren: Lässt man sich durch die Kamera eines iPhones oder iPads die Umgebung zeigen, können 3D-Modelle in dieser mittels ARKit platziert werden. Diese bewegen sich dann mit der Kamera mit und erzeugen die Illusion, als ob die Modelle tatsächlich im Raum vorhanden wären.


Tim Cook wurde nicht müde zu betonen, welche weitreichenden Möglichkeiten ARKit eröffnet – doch schon wenige Monate nach Erscheinen von iOS 11 flaute der initiale Hype um die Technologie etwas ab. In den darauffolgenden Jahren veröffentlichte Apple ARKit Version 2 und 3 und führte einige neue Möglichkeiten ein – zum Beispiel das Erkennen von Objekten und das Tracken von Personen und Gesten.

Das diese Woche erschienene iPadOS 13.4 bringt eine große neue Version von ARKit mit, welche unter anderem die Hardware-Features des iPad Pro 2020 ausnutzt. ARKit 3.5 bringt drei neue, große Funktionen mit, welche in den kommenden Monaten mit Sicherheit den Weg in viele Spiele und Apps finden werden.


Szenen-Geometrie
Die ersten Versionen von ARKit konnten nur Oberflächen erkennen, welche sich für die Platzierung von 3D-Modellen eigneten – sonstige Gegebenheiten des Raumes blieben unbeachtet. ARKit 3.5 erkennt nun Böden, Wände, Decken, Fenster, Türen und Stühle im Raum und erlaubt somit auch die Interaktion mit diesen. So ist es zum Beispiel möglich, virtuelle Bälle von Wänden abprallen zu lassen oder die Beleuchtung und Schatten anhand der Fensterpositionen anzupassen.

Instant AR
Bisher war es notwendig, das iPhone oder iPad vor dem Starten einer AR-App gleichmäßig im Raum zu bewegen – ein nerviger Prozess, welcher nach jedem Start einer AR-App wiederholt werden musste. Doch das iPad Pro 2020 kommt mit einem LiDAR-Scanner (Light Detection And Ranging) daher – dieser ermittelt über Laser ein virtuelles 3D-Modell der Umgebung und erlaubt es, dass eine AR-App sofort startklar ist. Bisher steht nur auf dem iPad Pro ein LiDAR-Scanner zur Verfügung, weswegen Instant AR auch nur mit dem iPad Pro 2020 kompatibel ist.

Verbesserte Bewegungs- und Verdeckungserkennung
Dank des LiDAR-Scanners werden auch zwei weitere Funktionen deutlich genauer: ARKit 3.5 kann deutlich genauer Bewegungen von Personen erkennen und die Größe und Position dieser ausrechnen. Zuvor musste ARKit allein auf die Kamera-Bilder zurückgreifen – dank LiDAR steht nun eine weitere Informationsquelle bereit.

Ein Problem von Augmented Reality ist die Erkennung von verdeckten Bereichen: Steht ein 3D-Modell im Raum und eine Person oder Objekt verdeckt dieses, erschien das Modell meist "über" dem Hindernis. Mittels LiDAR erkennt ARKit 3.5 nun die Objekte verlässlicher und 3D-Modelle erscheinen korrekt hinter diesen.


Apps, welche die neuen Features von ARKit 3.5 einsetzen wollen, müssen an diese angepasst werden. ARKit 3.5 steht nur auf iPads und iPhones bereit, welche das diese Woche erschienene iOS 13.4 einsetzen.