Nacktscanner, Nudify, Deepfake – die Namen haben sich geändert, das (illegale) Angebot bleibt dasselbe: Dienstleister bieten an, auf Basis eines Fotos einer realen Person sexualisierte Abbildungen zu erzeugen. Die EU-Kommission hat – ebenso wie viele andere Länder – derlei missbräuchlichen Darstellungen den Kampf angesagt. Trotzdem floriert das Geschäft mit KI-generierten Nacktbildern offenbar: Das Recherchenetzwerk „AI Forensics“ deckte nun ein Firmengeflecht auf, welches unscheinbare Apps in App Stores von Apple und Google bereitstellte – mit einem versteckten Zugriff auf Deepfake-Funktionen.


Der Anfang November veröffentlichte Bericht beschreibt ein Netzwerk harmloser Apps unterschiedlichster Nutzungsformen. Manche waren fiktiven Friseursalons zugeordnet, andere erzeugten harmlose KI-Illustrationen. Doch nur, wenn sie „organisch“, also über eine Suche im App Store heruntergeladen wurde. Lädt ein Anwender über eine Meta-Plattform, beispielsweise Facebook oder Instagram, schaltet die App eine Browseransicht (Webview) frei. Darüber lassen sich missbräuchliche Darstellungen erzeugen. Zusätzlich werden weitere Faktoren abgefragt, etwa den Aufenthaltsort des Nutzers.

Apple sperrt Apps und Entwickler
Insgesamt 444 Apps konnte Forensics AI entdecken, welche dieselbe Methode anwendeten, 46 Prozent davon waren für den iOS App Store vorgesehen. Mitte September waren noch 21 Prozent im App Store zu finden. Den Ursprung der meisten Anbieter verorten die Forscher in China; eine zentrale Rolle soll ein Unternehmen mit Sitz in Hongkong haben. Apple veröffentlichte in diesem Zuge eine Konkretisierung der App Store Richtlinien. Hierbei geht der Konzern auf die verborgenen Funktionen ein, welche er als „Bait-and-Switch Apps“ bezeichnet. Neue Regeln gibt es nicht, sondern bestehende werden konkreter formuliert.

Unberechtigte Aussperrungen?
Einige Entwickler stellten überraschend fest, dass ihre Entwickler-Accounts gesperrt wurden. Michael Tsai berichtet von zwei Fällen, bei denen sich Anwender ungerechtfertigt sanktioniert sehen. Einer sieht die Schuld in böswillig verfassten App-Bewertungen, der andere gibt an, noch nicht einmal eine App anzubieten. Beiden wurde der Entwickler-Account gesperrt.

Apple, Google, Meta unter Druck
Am 2. Dezember tritt ein EU-weites Gesetz in Kraft, welche App- und Web-Plattformen dazu verpflichtet, angemessene Schutzmaßnahmen gegen Nudify-Apps vorzuweisen. Das gilt ebenso für den Meta-Konzern, auf dessen Plattformen die Annoncen laufen, welche die versteckten Funktionen bewerben (und indirekt freischalten). Besonders problematisch: Durch Werbung sowie möglicherweise über In-App-Käufe sind die Plattformen an den Umsätzen beteiligt, welche durch den digitalen Missbrauch entstehen.