Siri kann Fotos "vorlesen" – überraschend akkurat

Die Bedienung von Smartphones, Tablets und Computern stellt für Menschen mit Sehbehinderungen eine besondere Herausforderung dar. Apple und andere Hersteller bieten daher in den Betriebssystemen eine Reihe von Bedienungshilfen an. Dazu gehört beispielsweise das VoiceOver genannte Feature, welches die auf dem Display eines Geräts angezeigten Inhalte vorliest. Dank Maschinellem Lernen und Künstlicher Intelligenz wird diese Funktion immer leistungsfähiger und geht mittlerweile erheblich über das reine Ansagen von Textelementen hinaus.


Bildinhalte werden akustisch beschrieben
Mit iOS/iPadOS 14 beschreibt VoiceOver in der Fotos-App auf iPhone und iPad auch die Inhalte der Bilder, welche auf den Geräten oder in iCloud gespeichert sind. Die Funktion ist zwar standardmäßig nicht eingeschaltet, kann aber in den Einstellungen unter "Bedienungshilfen" konfiguriert werden. Hierzu öffnet man zunächst die Option "VoiceOver" und aktiviert dann unter "VoiceOver-Erkennung" die "Bildbeschreibungen". iPhone beziehungsweise iPad laden dann eine etwa 150 Megabyte große Datei herunter, welche für die Ansage von Bildinhalten erforderlich ist.

Motivbeschreibung in natürlicher Sprache
Öffnet man nun nach der Aktivierung von VoiceOver und der Bildbeschreibungen die Fotos-App, öffnet ein Fingertipp auf eines der Vorschaubildchen nicht unmittelbar das Foto. Stattdessen nennen iPhone oder iPad das Aufnahmedatum und beschreiben anschließend kurz das Motiv, und zwar in natürlicher Sprache. Bislang funktioniert das allerdings noch nicht auf Deutsch, vielmehr erfolgt die Ansage auf Englisch. Zu hören sind dann beispielsweise kurze Sätze wie "A baby lying on a bed with a purple blanket and toy " oder "A stone building with a bell tower and a cross on top of it". Auch die Inhalte von Screenshots werden erkannt.

Analyse erfolgt lokal auf dem iPhone
Die Analyse der Bildinhalte erfolgt lokal auf dem Gerät, funktioniert also auch ohne Internetvernindung. Die den Bildbeschreibungen zugrunde liegende Künstliche Intelligenz arbeitet dabei sehr zuverlässig und vor allem mit beeindruckender Geschwindigkeit. In den meisten Fällen dauert es nur knapp eine Sekunde, bis die Ansage beginnt. Das System erkennt zudem nicht nur vergleichsweise einfach zu analysierende Motive wie Menschen oder Gebäude, sondern beispielsweise auch, ob das jeweilige Foto einen strahlend blauen oder bewölkten Himmel zeigt. Landschaftsaufnahmen werden von Siri ebenfalls in aller Regel treffend beschrieben, allerdings gibt es keine Hinweise auf den genauen Ort, an welchem das Foto gemacht wurde. Ob Apple in einer zukünftigen Version von iOS/iPadOS die Bildbeschreibungen auch in deutscher Sprache zur Verfügung stellen wird, ist nicht bekannt.

Kommentare

Dirk!09.10.20 18:01
Zu beachten ist jedoch, dass die neue VoiceOver-Erkennung erst ab dem iPhone XS sowie dem iPad Pro 2018 zur Verfügung steht.

Wäre ja nett gewesen, das zu erwähnen.
+3
Stefab
Stefab09.10.20 22:58
Dirk!
Zu beachten ist jedoch, dass die neue VoiceOver-Erkennung erst ab dem iPhone XS sowie dem iPad Pro 2018 zur Verfügung steht.

Wäre ja nett gewesen, das zu erwähnen.

Na toll, dass iPad Pro 2017 wird schon immer mehr von neuen Funktionen ausgeschlossen, wo ich es jetzt endlich uneingeschränkt für mich verwenden kann. 😕
-2
becreart
becreart10.10.20 08:21
Dirk!
Zu beachten ist jedoch, dass die neue VoiceOver-Erkennung erst ab dem iPhone XS sowie dem iPad Pro 2018 zur Verfügung steht.

Wäre ja nett gewesen, das zu erwähnen.

das gäbe eine lange Liste und mühsam, wenn man alle alten produkte aufführt, die neue features nicht mehr unterstützen
-3
beanchen10.10.20 09:23
becreart
das gäbe eine lange Liste ...
Wieso Liste? Es gibt eine Grenze und die wurde bereits in einem Satz genannt. 😄
+3
Dirk!10.10.20 09:43
Zumindest sollte man erwähnen, dass es nicht auf allen Geräten läuft, die iOS 14 unterstützen, sonst sucht man vergeblich. Der A12 ist wohl Voraussetzung.
0
Der_Fitch10.10.20 19:19
Gerade mal ausprobiert. Puh, gar nicht so einfach, per VoiceOver zu navigieren... wenn man es 12 Jahre anders gemacht hat
0
Florian Lehmann10.10.20 21:02
Der_Fitch
Gerade mal ausprobiert. Puh, gar nicht so einfach, per VoiceOver zu navigieren... wenn man es 12 Jahre anders gemacht hat

Du hast wieder zurück gefunden? 😅
0
beanchen10.10.20 21:26
Der_Fitch
Gerade mal ausprobiert. Puh, gar nicht so einfach, per VoiceOver zu navigieren... wenn man es 12 Jahre anders gemacht hat
Ich hab es aufgegeben. Wie bist du denn von den Einstellungen zu Fotos gekommen?
0
Der_Fitch11.10.20 00:29
beanchen
Florian Lehmann

Nach Aktivieren von VoiceOver erfolgte ein kurzer Schweißausbruch, weil jede Berührung plötzlich kommentiert wurde und sonst nichts mehr so funktionierte wie gewohnt (und für mich damit intuitiv). Ich kam nicht einmal mehr zurück. Durch relativ hilfloses Tippen fand ich dann heraus, dass sowohl Doppeltap als auch langes Halten ein Weg sein können, durch die Apps zu navigieren.

VoiceOver ist mit Sicherheit ein tolles und auch wichtiges Werkzeug für diejenigen, die darauf angewiesen sind. Eine kurze Einweisung eines Profis dürfte aber definitiv erforderlich sein. Ich habe die Rubrik „Bedienungshilfen“ bisher nur einmal besucht - für das Aktivieren der Ein/Aus-Beschriftungen der Schalter. Einfach, weil‘s mir besser gefällt (in USA ist das auch die Standardeinstellung).
0
Dirk!11.10.20 06:57
Falls es noch jemand ausprobieren will, aber mit Voice Over Navigationsprobleme hat, kann unter

Systemeinstellungen / Bedienungshilfen / Kurzbefehl und dann Voice Over wählen

einstellen, dass es bei Dreifach-Druck der Ein-/Austaste aktiviert und deaktiviert wird. Dann kann man es erst anmachen, wenn Fotos schon offen ist und genauso schnell wieder aus.

PS: Es funktioniert sogar in der Kamera App und beschreibt dann das Live Bild der Kamera, bei mir allerdings mit großer Verzögerung (Der alte Bildinhalt wird noch mehrmals angesagt, selbst wenn das Motiv längst gewechselt hat.)
+3
beanchen11.10.20 07:53
Vielen Dank für die Tips, das funktioniert ja erschreckend gut! Wäre ja mal was für die Themenwoche.
0
mabi11.10.20 09:03
Ist es sicher, dass die KI das live erkennt? Ich glaube vielmehr, dass Fotos das standardmäßig im Hintergrund macht- ich war kürzlich bereits überrascht, dass man nach beliebigen Stichworten suchen kann und sehr treffsicher Ergebnis-Fotos gefunden werden („Kirche“, „festern“, „blauer Himmel“). Auch die autom. Rückblicke werden ja erstaunlich intelligent zusammengestellt („Strandtage 2019“). Ich vermute, VoiceOver verpackt hier vorhandene Metadaten lediglich in natürliche Sprache.
+1
Dirk!11.10.20 09:31
mabi
Ist es sicher, dass die KI das live erkennt? Ich glaube vielmehr, dass Fotos das standardmäßig im Hintergrund macht- ich war kürzlich bereits überrascht, dass man nach beliebigen Stichworten suchen kann und sehr treffsicher Ergebnis-Fotos gefunden werden („Kirche“, „festern“, „blauer Himmel“). Auch die autom. Rückblicke werden ja erstaunlich intelligent zusammengestellt („Strandtage 2019“). Ich vermute, VoiceOver verpackt hier vorhandene Metadaten lediglich in natürliche Sprache.

Ich habe weiter oben doch bereits beschrieben, dass es auch live in der Kamera App funktioniert!

Man darf auch nicht verwechseln, was bereits vorher für einfache Beschreibungen verfügbar waren und was jetzt neu dazukam. Das alte funktioniert nur auf Deutsch, daran erkennt man es, das neue nur auf Englisch.
+1
iMackerer11.10.20 09:54
Ich hatte auch total Panik weil ich Voice-Over nicht mehr deaktiviert bekommen habe
Meine Frau ganz trocken „Sag es doch Siri“...ging
+3
beanchen11.10.20 11:00
Ich musste googeln und die Top-Treffer erwähnen alle den Dreifachklick auf die Einschalttaste, nicht aber, dass das zuvor aktiviert worden sein muss ...
+1

Kommentieren

Sie müssen sich einloggen, um die News kommentieren zu können.