Push-Nachrichten von MacTechNews.de
Würden Sie gerne aktuelle Nachrichten aus der Apple-Welt direkt über Push-Nachrichten erhalten?

Video: Die Welt als LiDAR-Abtastung – Durch die Augen des iPad Pro 2020 geschaut

Zwar verfügt das vor einigen Tagen aktualisierte iPad Pro nur über einen unwesentlich schnelleren Prozessor (siehe unterhalb dieser Meldung verlinkte Artikel), dafür hat sich beim Kameramodul aber einiges getan. Schon auf den ersten Blick erkennt man die Unterschiede zum Vorgänger. Blickte einen zuvor nur eine Kamera an, so sind es nun gleich drei Augen. Bei einem davon handelt es sich um den neuen LiDAR-Sensor, welcher den Bereich hinter dem iPad abtastet und Tiefeninformationen ermittelt. Auf diese Weise weiß das AR-System, wie weit Gegenstände oder Wände vom iPad entfernt sind, was präzisere Berechnungen und realistischere AR-Einblendungen ermöglicht.


Video zeigt die Sicht des iPad Pro 2020
Ein interessantes Video verdeutlicht, wie das iPad Pro 2020 seine Umgebung sieht und wie das System den Raum vermisst. Die Aufnahmen nehmen den Zuschauer mit auf einen Rundgang durch das Haus und verdeutlichen die Arbeitsweise. Ohne sichtbare Verzögerungen erstellt die Sensorik zusammen mit ARKit das Mesh ("Gittergewebe"), welches in hoher Präzision rund um die Objekte aufgebaut wird. Beeindruckend daran ist nicht nur der verfügbare Detailreichtum, sondern auch die hohe Geschwindigkeit. Dieses Zusammenspiel ermöglicht es, auch Objekte in Bewegung zu erfassen und diese in die Szene einzubinden.


Sample-Projekt von Apple
Bei Sekunde 28 des eingebundenen Videos ist das eigentliche Kamerabild deaktiviert, stattdessen sieht man nur noch die eigentlichen Objekte in der Szene. Das Mesh dokumentiert, wie das dritte Auge des Kameramoduls dabei den Raum erfasst und abgebildet hat. Angefertigt wurden die Aufnahmen mithilfe eines Sample-Projekts von Apple, welches Entwicklern einen Einblick in die Funktionsweise gibt und darlegt, wie die Erkennung von Flächen und Gegenständen funktioniert. Der Artikel ist auch ohne Entwicklerzugang aufzurufen, setzt allerdings technisches Grundverständnis voraus. Einen näheren Blick auf die gerade erst veröffentlichte ARKit-Version 3.5 hatten wir in diesem Artikel geworfen: . Beschrieben sind darin die zusätzlichen Funktionen und neuen Möglichkeiten.

Kommentare

mk27ja95
mk27ja9527.03.20 12:17
Für mich nicht fein genug ausgelöst sorry
-34
mac_heibu27.03.20 12:26
Was ist nich fein genug aufgelöst? Der Film? Das Drahtgitter?
Ich finde eher deinen Kommentar nicht fein genug aufgelöst …
+15
Fenvarien
Fenvarien27.03.20 12:31
mk27ja95 Was bitte meinst du? Kannst du das bitte ein wenig genauer beschreiben, inwiefern diese Auflösung nicht für die Positionierung und Beleuchtung von Objekten in der Szene reicht?
Ey up me duck!
+8
eiq
eiq27.03.20 12:37
Er denkt wahrscheinlich, dass das, was man als Drahtgitter sieht, die "Auflösung" des LIDARs ist. Dass man mit der Technik die Auflösung quasi auf unendlich setzen kann, ist ihm wohl nicht bewusst.
+3
NONrelevant
NONrelevant27.03.20 12:43
Ich finde die Technik für den privaten Bereich und für den Anfang schon toll.
... und ich will ja mit dem iPad kein Haus einrichten.
NONrelevant - Wer nicht selber denkt, für den wird gedacht.
+2
becreart
becreart27.03.20 12:55
mk27ja95
Für mich nicht fein genug ausgelöst sorry

ja, ein 3D Scanner wird es wohl nicht ersetzten können. aber für AR scheint es auszureichen.
+2
becreart
becreart27.03.20 13:10
eiq
Er denkt wahrscheinlich, dass das, was man als Drahtgitter sieht, die "Auflösung" des LIDARs ist. Dass man mit der Technik die Auflösung quasi auf unendlich setzen kann, ist ihm wohl nicht bewusst.

Aber nicht über die Hardwareunterstützung.
0
eiq
eiq27.03.20 13:37
Wieso? Der Sensor scannt und die natürliche Unruhe der Hände/Arme sorgt für immer neue Datenpunkte. Nach einigen Sekunden kann man da ein erstaunlich genaues Abbild schaffen.
+4
becreart
becreart27.03.20 15:27
Na weil es im Vergleich zu 3D Scanner die hier eingesetzt werden, in der Sekunde über 2.000.000 Datenpunkte gescannt werden und diese auf den mm stimmen.

Aber ist ja auch eine andere Technik und eine Preisklasse, also nicht vergleichbar.

Aber ich habe das neue iPad unter anderem wegen dem LiDAR System gekauft. Wegen AR.
+2
Quickmix
Quickmix27.03.20 17:40
becreart
mk27ja95
Für mich nicht fein genug ausgelöst sorry

ja, ein 3D Scanner wird es wohl nicht ersetzten können. aber für AR scheint es auszureichen.

Das ist erst der Anfang.
0
uni.solo27.03.20 18:00
Davon hab ich seit Jahren für berufliche Anwendungen geträumt und jetzt hält die Technik auf Consumer-Ebene Einzug! Lässt sich das Mesh denn exportieren und wenn ja, in welche Formate?
+1
frankh27.03.20 19:27
Endlich. google war da vor 4 (vier!) Jahren schon weiter. Wir haben u.a. dies damit realisiert:
und dann hat google es wegen "teuren" Sensoren wieder eingestampft, die Deppen. ARKit ist bisher jämmerlich im Vergleich zu Tango. Über ARCore gar nicht erst zu reden...
+1
uni.solo27.03.20 21:06
Ich kann Deine Betroffenheit verstehen. Dennoch zählt für mich das was da ist und Tango ist seinerzeit nicht in mein Blickfeld geraten...

Ein interessanter Artikel dazu:
0
Pixelmeister27.03.20 23:28
frankh
google war da vor 4 (vier!) Jahren schon weiter.
Das, was du da gezeigt hatte, konnte man mit den ersten AR-Kit-Apps auch machen. Sehr cool fand ich z.B. die Basketball-Analyse, die bei einer Keynote gezeigt wurde. Und zeig doch bitte mal, wie die Google-Technik mit Verdeckungen von 3D-Objekten durch davor stehende Personen klarkommt (und das geht sogar schon ohne LiDAR-Abtastung, einfach nur mit den normalen Cams).
-1
aMacUser
aMacUser28.03.20 02:10
uni.solo
Davon hab ich seit Jahren für berufliche Anwendungen geträumt und jetzt hält die Technik auf Consumer-Ebene Einzug! Lässt sich das Mesh denn exportieren und wenn ja, in welche Formate?
Wenn du eine eigene App baust, wirst du annähernd unbegrenzte Möglichkeiten haben. Die App aus dem Video ist eher eine Art Referenzimplementierung und Dummy für die Entwicklung anderer Apps.
0
Raziel128.03.20 09:14
frankh

Sehe ich anders. Google hatte es nur über teure externe Sensoren geschafft und dann kam Apple und realisierte es mit der normalen einfachen Onbordkamera. Beispiel wie du sie hier in den Videos präsentiert hast, habe ich zuletzt selbst mit nem iPad Air (2 was glaub ich) beruflich umgesetzt. Sowas konnte iOS auch ohne Schwierigkeiten.
0
frankh28.03.20 19:33
ARKit kann NICHT was Tango konnte. Wir haben es eingehend untersucht. Bildverarbeitung alleine reicht nicht für alle Szenarien. Sonst hätte apple ja auch das LIDAR jetzt nicht eingeführt.
Es geht auch um Genauigkeit, Robustheit des Tracking, die Größe und Komplexität der Umgebung und wie schnell und genau beim App-Start die eigene Position in einer gespeicherten Umgebung wiedergefunden wird. Da ist Tango auf einem 400€ Asus-Phone wirklich sehr performant.
Was ARKit ohne LIDAR nicht kann ist der detaillierte 3D-Scan wie es auch die HoloLens macht. Damit kann man Verdeckungen realisieren, Schatten- und Lichtwurf auf Flächen etc. ARKit macht das nur sehr begrenzt, erkennt (ohne LIDAR) nur vertikale und horizontale Flächensegmente, die zudem nicht immer stabil sind. In komplex strukturierten Umgebungen kann man das vergessen. Die Personenerkennung kam bei ARKit später dazu und funktioniert gut, aber eben nur mit Körper(teilen). Das konnte Tango so nicht.
Versteht mich nicht falsch. Ich find's toll, dass apple in die Richtige Richtung geht. google hat m.E. mit dem Einstampfen von Tango einen großen Fehler gemacht.
0
nr2
nr229.03.20 09:42
😅😅
-1

Kommentieren

Sie müssen sich einloggen, um die News kommentieren zu können.