Push-Nachrichten von MacTechNews.de
Würden Sie gerne aktuelle Nachrichten aus der Apple-Welt direkt über Push-Nachrichten erhalten?

Das Foto ist geschossen – und dann? Ein Blick hinter die Kulissen der Fotos-App und deren intelligenten Bildanalyse

Fotos aufzunehmen ist im Smartphone-Zeitalter derart einfach und schnell geworden, dass die Anzahl der Bilder in vielen Mediatheken kaum noch zu überblicken ist. Apple hatte vor einiger Zeit ein Whitepaper veröffentlicht, das auf diese Thematik eingeht und beleuchtet, wie viel Bildanalyse im Hintergrund stattfindet, um dem Nutzer dennoch Orientierung zu bieten. Natürlich ist es möglich, einfach nur die chronologische Sortierung zu verwenden und diese durchzuscrollen, Apple will für Sortierung und Bearbeitung aber noch andere Wege anbieten.


Was die Fotos-App analysiert
Um den Nutzer Vorschläge im "For you"-Tab zu machen oder auch nach Bildinhalten zu suchen, finden diverse Analysen statt. Apple dokumentiert unter anderem die folgenden Parameter:

  • Bekannte Formen wie Flugzeuge, Fahrräder, Landschaft, Stadt und hunderte weitere Objekte. Beispielsweise ist es damit möglich, nach "Gitarre" zu suchen – oder sich alle Fotos mit Bergen anzeigen zu lassen
  • Beleuchtung, Schärfe, Farben, Komposition, Symmetrie, die nach allgemein anerkannten Kriterium bewertet werden
  • Kategorisierung, ob es sich um Fotos von Menschen, Hunden, Katzen etc. handelt
  • Qualitätsindex für Gesichtserkennung (Beleuchtung, Fokus) samt Interpretation des Gesichtsausdrucks
  • Audio-Informationen, um die Stimmung zu erkennen (Applaus, Lachen, etc.)

Gleichzeitig erfasst die Fotos-App auch die Vorlieben des jeweiligen Nutzers und lässt das Verhalten in die Bewertung einfließen. Damit ist es möglich, per Foto-Suche individuell angepasste Ergebnisse anzubieten und gleichzeitig in den "Erinnerungen" Vorschläge zu Fotos zu machen, die dem Anwender offensichtlich etwas bedeuten. In der Tagesansicht ermöglicht die Qualitätsbewertung, Duplikate auszublenden, nur die besten Fotos zu zeigen und damit einen besseren Überblick zu schaffen.


Die besten Fotos des Tages
Die Auswahl der besten Bilder erfolgt sowohl anhand der oben aufgezählten Kriterien als auch durch eine Relevanzanalyse. Apple erläutert dazu, dass die Erkennung der Szenerie ein wichtiges Indiz ist. Wer ein Konzert besuchte und dort einige Fotos machte, dürfte dies als wichtigstes Ereignis des Tages verbuchen, auch wenn vielleicht die reine Anzahl der Bilder noch nicht darauf hindeutet. Komposition und Motivwahl gelten als wesentliches Kriterium, wenngleich der Algorithmus auch lernt, wenn Nutzervorlieben von allgemeinen Standards abweichen. Natürlich erhalten Fotos, die markiert, bearbeitet oder verschickt wurden immer einen höheren Qualitätsindex. Dasselbe gilt auch für die Monats- und Jahresansichten, in denen herausragende Ereignisse erkannt und höher gewichtet sind. Geburtstage oder Konferenzen gelten ebenfalls als besonders wichtig.


Automatische Bildverbesserung
Die Fotos-App bietet unter iOS, iPadOS sowie macOS unzählige Werkzeuge zum Bearbeiten an. Allerdings gibt es auch den praktischen "Automatisch Verbessern"-Button, der meist bereits für sehr gute Resultate sorgt. Auch hier setzt Apple auf einen Algorithmus, der mit Millionen Fotos trainiert wurde, um die bestmöglichen Anpassungen hinsichtlich Beleuchtung, Farbe, Hervorheben von Bildinhalten durch gezieltes Aufhellen oder Abdunkeln, Entfernen von Rauschen oder Modifizieren der Farbtemperatur vorzunehmen. Wichtig dabei ist die Erkennung von Bildinhalten, um nicht einfach nur das Histogramm zu bearbeiten, sondern gewünschte Inhalte auch zu berücksichtigen: Beispielsweise soll vermieden werden, an ein menschliches Gesicht dieselben Kriterien anzulegen, die beispielsweise auf das Wasser im Hintergrund oder den Nadelbaum zutreffen.


Ein Foto, viele Ebenen
Noch komplexer wird es, wenn der Nutzer Funktionen wie Porträt- oder Bühnenmodus verwenden möchte. Hierzu reicht nicht nur die Analyse des Gesamtbildes, stattdessen ist eine "semantische Segmentierung" in verschiedene Ebenen erforderlich. Beispielsweise trennt Apple Hintergrund, Personen-Umrisse, Gesicht, Haare sowie Mund und Zähne voneinander ab, um anhand dieser Informationen dann die Effekte zu berechnen. Mit der Rechenleistung der Neural Engine findet die Segmentierung praktisch in Echtzeit statt, selbst dann, wenn Bildbereiche verdeckt sind, Haare ins Gesicht hängen, der Nutzer einen Vollbart trägt oder die Lichtverhältnisse ungünstig sind.

Auf Datenschutz ausgelegt
Natürlich vergisst Apple nicht, auch auf das Lieblingsthema "Datenschutz & Privatsphäre" einzugehen. Während sehr viele Foto-Dienste die Analyse der Bilder serverseitig erfolgen lassen, damit zwangsläufig das iPhone des Nutzers verlassen, arbeitet die Fotos-App für alle der beschriebenen Verfahren vollständig lokal. Der Knowledge Graph zu Nutzervorlieben und Interessen bleibt ebenfalls auf dem Gerät, sodass es nicht irgendeinen weit entfernten Serverdienst gibt, der den Anwender möglicherweise noch besser kennt als er sich selbst. Nur dann, wenn ein Anwender Bilder teilt bzw. die iCloud-Mediathek oder das iCloud-Backup verwendet, erfolgt eine Übertragung der Dateien in die Cloud. Ungewollte Weitergabe an Drittanbieter ist generell ausgeschlossen.

Kommentare

Kabelbaum
Kabelbaum11.02.20 11:32
Donnerwetter. Ein Haufen Zeug, das da hinter den Kulissen von Fotos abläuft. Danke für die informative Darstellung.
+6
macfori11.02.20 11:41
Super Artikel - vielen Dank.

Für alle, die sich wundern, was das Programm nachts so treibt, noch folgen Ergänzung aus dem White-Paper
https://www.apple.com/ios/photos/pdf/Photos_Tech_Brief _Sept_2019.pdf
Overnight processing
The Photos app on iOS and iPadOS curates the new Photos tab overnight when the user’s device is connected to power. This is designed to conserve the battery, so that photo analysis isn’t using processing power when the user is completing other tasks.
Vor allem wichtig: Das geschieht nur, wenn das iOS Gerät am Strom hängt! Hier gibt's oft Missverständnisse.
+5
sonorman
sonorman11.02.20 11:47
Gibt es eigentlich eine Möglichkeit, in der Fotos-App auf dem Mac Alben anzulegen, die NICHT mit der Fotos-Cloud synchronisiert werden?

Falls ich Fotos in der Zukunft mal verstärkt für meine Fotoprojekte nutzen möchte, wäre mir das wichtig, weil ich nicht so viel Cloud-Speicher abonnieren will. Synchronisiert werden sollen nur wichtige, ausgewählte Bilder.
0
MrIcemanF14
MrIcemanF1411.02.20 12:02
Das größte Manko an Fotos ist leider die fehlende Unterstützung von mehreren Apple-IDs. Als Familie muss man sich für eine ID entscheiden unter der die Bibliothek läuft. Bilder von anderen iOS geräten sind nur mittels Airdrop zu übergeben oder (falls man einen aktuellen Mac besitzt) per Kabel an den Mac der zugehörigen Apple-ID.

Auch der Zugriff auf die Familienfotos (in der iCloud) bleibt einem Elternteil verwehrt. Gibt es dafür eine Lösung?
0
Nordelius11.02.20 12:14
Vielleicht kann mir jemand zum Thema Fotos-App helfen: Aperture hat bei Nutzung des Fotostreams automatisch ein Album für jeden Monat angelegt. In Fotos scheint das nicht möglich zu sein - gibt es einen Workaround oder muss ich das tatsächlich manuell machen?

Danke schon Mal!
0
nobillgates11.02.20 12:20
sonorman
Gibt es eigentlich eine Möglichkeit, in der Fotos-App auf dem Mac Alben anzulegen, die NICHT mit der Fotos-Cloud synchronisiert werden?

Du kannst beliebig viel Mediatheken anlegen, aber nur 1 mit der Cloud synchronisieren (sogenannte Systemfotomeidiathek).
Wer aber seine Bilder nur halbwegs professionell verwalten will, verzichtet auf so proprietäre Lösungen wie Fotos, das einem praktisch keinen Gestaltungsspielraum lässt.
0
wicki
wicki11.02.20 12:24
Jaja, beeindruckende automatische Bildanalyse …

Dafür fehlt des der Photos.app an den einfachsten Möglichkeiten, den KI-Irrsinn zu korrigieren. Zum Beispiel sortiert die "Moments"-Ansicht die Fotos in manchmal total hirnrissige "Momente". Ich mache eine Reise nach Barcelona, alle dort geschossenen Fotos werden in "Barcelona" einsortiert. Aber ein Foto, dass ich beim Hinflug im Flugzeug über den Pyrenäen geschossen habe, wird unter "Le Boulou & Les Costes Gozon" einsortiert. Wer will das? Oder ein Foto, dass ich in Norderney am Strand gemacht habe, wird unter "Nationalpark Niedersächsisches Wattenmeer" einsortiert.

Da wünsche ich mir die "Rolls"-Verwaltung von iPhoto zurück. Zwar gab auch iPhoto "Rolls" vor, aber man konnte sie manuell benennen und umsortieren, sodass sie für den Benutzer Sinn ergeben haben – und nicht für die KI.

Ich fühle mich bevormundet und bin ernsthaft auf der Suche nach einer Alternative.

P.S.: Ähnlich beknackt verhält sich nur die KI in Apple-Maps, die die Autobahn A61 zwischen Köln und Koblenz standhaft als "Route Gottfried von Bouillon" bezeichnet.
Better necessarily means different.
+1
sonorman
sonorman11.02.20 12:35
nobillgates
sonorman
Gibt es eigentlich eine Möglichkeit, in der Fotos-App auf dem Mac Alben anzulegen, die NICHT mit der Fotos-Cloud synchronisiert werden?

Du kannst beliebig viel Mediatheken anlegen, aber nur 1 mit der Cloud synchronisieren (sogenannte Systemfotomeidiathek).
Wer aber seine Bilder nur halbwegs professionell verwalten will, verzichtet auf so proprietäre Lösungen wie Fotos, das einem praktisch keinen Gestaltungsspielraum lässt.
Ok danke. Das ist natürlich nur ein ziemlich unpraktischer Workaround.

Dass Fotos nicht die hellste Kerze auf der Digital-Asset-Manager-Torte ist, steht außer Frage.

Für bestimmte Aufgaben/Workflows würde mir Fotos aber durchaus reichen. Insbesondere für die Fotografie mit dem iPhone. Dennoch möchte ich nicht, dass grundsätzlich alle Bilder permanent in der iCloud verweilen. Es wäre schön, wenn man "Offline-Alben" anlegen könnte. Wenn ich beispielsweise mit dem iPhone auf einem Ausflug einen Haufen Bilder geschossen habe, dann setze ich mich an den Mac und sortiere alle Bilder in den Offline-Bereich, die ich gerne behalten möchte, die jedoch nicht die Cloud zu verstopfen brauchen. So ähnlich kann man das ja auch mit Mails machen.
0
massi
massi11.02.20 13:09
Das ist zwar alles sehr nett, kann aber nicht darüber hinwegtäuschen, daß ein Mensch zur Zeit doch noch etwas intelligenter ist als die Algorithmen.
Nehmen wir das Beispiel "Gitarre", da habe ich einige Bilder auf meinem iPhone, finden tut Fotos genau 3 Bilder und auch andere Bilder findet man nicht, wenn sie nicht den "gespeicherten" Begriffen entsprechen. Mir wäre da manchmal zusätzlich eine vernünftige Verschlagwortung lieber.(oder gibt es die und ich habe sie bisher nicht gefunden?)
0
Roby Toby
Roby Toby11.02.20 13:30
P.S.: Ähnlich beknackt verhält sich nur die KI in Apple-Maps, die die Autobahn A61 zwischen Köln und Koblenz standhaft als "Route Gottfried von Bouillon" bezeichnet.
[/quote]

Naja, ganz soweit hergeholt ist es dann doch nicht.
„ Gemeinsam mit seinen Brüdern Eustach III. und Balduin führte er ab August 1096 eine etwa 20.000 Mann starke Armee von Lothringen den Rhein und die Donau entlang auf den Balkan.“
Die Route führt in Köln (Nähe Lothringer Straße) den Rhein entlang.
So funktioniert halt KI.
+2
Roby Toby
Roby Toby11.02.20 13:45
massi
Das ist zwar alles sehr nett, kann aber nicht darüber hinwegtäuschen, daß ein Mensch zur Zeit doch noch etwas intelligenter ist als die Algorithmen.
Nehmen wir das Beispiel "Gitarre", da habe ich einige Bilder auf meinem iPhone, finden tut Fotos genau 3 Bilder und auch andere Bilder findet man nicht, wenn sie nicht den "gespeicherten" Begriffen entsprechen. Mir wäre da manchmal zusätzlich eine vernünftige Verschlagwortung lieber.(oder gibt es die und ich habe sie bisher nicht gefunden?)

gibt es " K"
+1
Duke9711.02.20 14:28
Keine Antwort auf die Frage von MrIceman ...

IMHO die grosse Schwaeche von dem ganzen System:
Mein iPhone, mein Mac, meine iCloud

Kein Sharing mit niemandem, nicht Familie, nicht Verein, nicht gar nichts ...
0
Zw31St31n
Zw31St31n11.02.20 14:29
Roby Toby
massi
Das ist zwar alles sehr nett, kann aber nicht darüber hinwegtäuschen, daß ein Mensch zur Zeit doch noch etwas intelligenter ist als die Algorithmen.
Nehmen wir das Beispiel "Gitarre", da habe ich einige Bilder auf meinem iPhone, finden tut Fotos genau 3 Bilder und auch andere Bilder findet man nicht, wenn sie nicht den "gespeicherten" Begriffen entsprechen. Mir wäre da manchmal zusätzlich eine vernünftige Verschlagwortung lieber.(oder gibt es die und ich habe sie bisher nicht gefunden?)

gibt es " K"

oder " I"
0
odi141011.02.20 14:41
MrIcemanF14
Das größte Manko an Fotos ist leider die fehlende Unterstützung von mehreren Apple-IDs. Als Familie muss man sich für eine ID entscheiden unter der die Bibliothek läuft. Bilder von anderen iOS geräten sind nur mittels Airdrop zu übergeben oder (falls man einen aktuellen Mac besitzt) per Kabel an den Mac der zugehörigen Apple-ID.

Auch der Zugriff auf die Familienfotos (in der iCloud) bleibt einem Elternteil verwehrt. Gibt es dafür eine Lösung?

Zum Austausch von Bildern in der Familie nutzen wir „Geteilte Alben“. Da lädt jeder deinen Senf hoch, und wer Bilder mag, lädt sie sich lokal auf sein Gerät runter.
+3
Langer
Langer11.02.20 16:02
Stimmt. Dabei wird (leider) die Auflösung reduziert.
odi1410
Zum Austausch von Bildern in der Familie nutzen wir „Geteilte Alben“. Da lädt jeder deinen Senf hoch, und wer Bilder mag, lädt sie sich lokal auf sein Gerät runter.
0
cab11.02.20 21:02
wicki
P.S.: Ähnlich beknackt verhält sich nur die KI in Apple-Maps, die die Autobahn A61 zwischen Köln und Koblenz standhaft als "Route Gottfried von Bouillon" bezeichnet.

OT
Das kenne ich nur zu gut. Mich schickt Siri immer über die beknacktesten Straßennamen. "Weiter über die schwäbische Dichterstraße, dann abbiegen auf fantastische Straße". Dumm nur, dass das nirgendwo so steht.
0
killerspots11.02.20 22:02
Ich finds immer noch beknackt, dass man am iPhone keine Gesichter manuell hinzufügen kann, bzw keine Tags und metadaten verändern kann. Dafür muss ich den Mac anschmeißen, obwohl solche Arbeiten am Handy zwischendurch in der Bahn super erledigt werden könnten.
+3
tocotronaut12.02.20 01:39
wicki
Oder ein Foto, dass ich in Norderney am Strand gemacht habe, wird unter "Nationalpark Niedersächsisches Wattenmeer" einsortiert.

Du befindest dich dort am Strand im Nationalpark Niedersächsisches Wattenmeer... (zumindest bei Ebbe)
Der Ort basiert ja auch nicht auf KI, sondern auf den Daten von Apple Maps.
Für die Karten kommt ja bald ein größeres Update, dann kann sich ggf. auch der Ort nochmal ändern. (ich hoffe es auch, da meine Stadt komplett als "Naturpark Weserbergland" eingestuft ist - Letztlich ist es korrekt, nur falsch Priorisiert.)


Die Daten (auch vom Flug) sind dabei in sich korrekt, entsprechen nur nicht dem, was du sehen willst. Gedanken lesen was du willst kann das System aber noch nicht.

Du kannst den Ort der Aufnahme aber in Fotos auch Manuell anpassen.
+1
wicki
wicki12.02.20 12:26
tocotronaut
wicki
Oder ein Foto, dass ich in Norderney am Strand gemacht habe, wird unter "Nationalpark Niedersächsisches Wattenmeer" einsortiert.

Du befindest dich dort am Strand im Nationalpark Niedersächsisches Wattenmeer... (zumindest bei Ebbe)
Der Ort basiert ja auch nicht auf KI, sondern auf den Daten von Apple Maps.
Für die Karten kommt ja bald ein größeres Update, dann kann sich ggf. auch der Ort nochmal ändern. (ich hoffe es auch, da meine Stadt komplett als "Naturpark Weserbergland" eingestuft ist - Letztlich ist es korrekt, nur falsch Priorisiert.)


Die Daten (auch vom Flug) sind dabei in sich korrekt, entsprechen nur nicht dem, was du sehen willst. Gedanken lesen was du willst kann das System aber noch nicht.

Du kannst den Ort der Aufnahme aber in Fotos auch Manuell anpassen.

Stimmt alles. Ich kann auch gut damit leben, dass Ortsbezeichnungen zunächst nicht meinen Vorlieben entsprechen.

Was mich stört ist die völlige Abwesenheit jeglicher manueller Einriffe. Vor allem bei den "Moments". Das war mit den "Rolls" in iPhoto 1000mal besser gelöst. Die konnte ich beliebig aufteilen und neu wieder zusammenführen.

Schade … :'(
Better necessarily means different.
0
massi
massi12.02.20 15:29
RobyToby
gibt es "cmd K"
Aha, und wie mache ich das auf dem iPhone, darum ging es hier doch oder nicht?
0

Kommentieren

Sie müssen sich einloggen, um die News kommentieren zu können.