Die National Association of Attorneys General ("NAAG"), also der Zusammenschluss der US-Generalstaatsanwälte, hat Apple sowie zwölf weitere große KI-Unternehmen in einem 12-seitigen Schreiben aufgefordert, deutlich stärkere Sicherheitsmaßnahmen gegen schädliches Verhalten ihrer KI-Modelle zu ergreifen. Das Grundproblem ist schnell umrissen: Vor allem Chatbots wirken unglaublich kompetent und einfühlsam, obwohl sie doch nur aufgrund statistischer Gegebenheiten Dinge aneinanderreimen – das meist so gestaltet, den Nutzer möglichst in allem zu unterstützen und diesem zuzustimmen. Besonders gravierend können die Auswirkungen auf vulnerable Gruppen sein, die sich gar nicht darüber bewusst sind, wie derlei Tools überhaupt arbeiten.


Den negativen Auswirkungen wird zu wenig Beachtung geschenkt
Die Staatsanwälte kritisieren stark zunehmende Fälle, in denen generative KI schmeichelnde oder bestätigende Falschaussagen liefert, wahnartige, realitätsferne Antworten erzeugt oder gefährliche oder psychisch belastende Ratschläge ausgibt. Jene Punkte sind mit tatsächlichen Fällen verknüpft, bei denen KI-Interaktionen mit Gewalt, Suiziden, Vergiftungen und psychotischen Zusammenbrüchen in Verbindung gebracht wurde. Am gravierendsten sei hingegen das Versäumnis der Anbieter, viel zu wenig für den Schutz von Minderheiten zu tun. So liegen dem Schreiben zufolge Beispiele vor, in denen ein Chatbot Kinder sogar darum bat, die Unterhaltungen vor den Eltern geheimzuhalten. Wenn Aufforderungen wie Absetzen von Medikamenten, Experimentieren mit Drogen oder gar Simulationen romanischer Beziehungen gegenüber Heranwachsenden erfolgen, falle dies gar in den Bereich der Strafgesetzgebung.

Forderungen an alle namhaften Anbieter
Das Schreiben ging an Apple, Anthropic, Chai AI, Character Technologies (Character.AI), Google, Luka Inc. (Replika), Meta, Microsoft, Nomi AI, OpenAI, Perplexity AI, Replika, sowie xAI – wenngleich man sich hier die Branchengrößen herauspickte, welche sich nicht zwangsläufig etwas zuschulde kommen ließen. Die Staatsanwälte stellen daher eindeutige Forderungen auf, welche bis zum 16. Januar 2026 zu beantworten sind. Unternehmen haben bis dahin klar zu dokumentieren, wie sie fortan folgende Aspekte sicherstellen:

• klare Richtlinien gegen schmeichelnde/irrationale KI-Ausgaben
• umfassende Safety-Tests vor Veröffentlichung neuer Modelle
• deutliche Warnhinweise zu möglichen Risiken
• strikte Trennung von Gewinninteressen und Sicherheitsentscheidungen
• verantwortliche Führungskräfte, die für KI-Sicherheit haftbar sind
• unabhängige Audits, Kinder-Schutz-Analysen
• Veröffentlichung von Incident-Logs und wie Firmen darauf reagiert haben
• Pflicht, betroffene Nutzer aktiv zu informieren, wenn KI schädliche Inhalte ausgegeben hat
• robuste Schutzmechanismen, damit Chatbots keine illegalen oder schädlichen Inhalte an Minderjährige ausgeben
• altersgerechte Filtersysteme

Moratorium für KI-Regulierung? NAAG stellt sich dagegen
Die NAAG stellt sich zudem entschieden gegen Regierungspläne, die es Bundesstaaten verbieten wollen, KI-Dienste zu regulieren und klarere Regeln aufzustellen. In einem anderen Schreiben heißt es hierzu, man müsse sehr wohl entschieden gegen Deepfakes, Wählermanipulation, Algorithmusverzerrungen, Spam-Anrufe oder KI-berechnete Miethöhen vorgehen und die Bevölkerung vor negativen Auswirkungen schützen.