Von einer bedrohlichen und die Welt beherrschenden KI wie "Skynet" kann zwar nicht die Rede sein, doch die jüngsten Geschehnisse sind durchaus als bedenklich einzustufen. Während einer internen Cybersecurity-Erprobung brachen OpenAI-Modelle aus der isolierten Testumgebung aus und kompromittierten Teile der Plattform Hugging Face. OpenAI selbst spricht von einem "beispiellosen Cybervorfall" und arbeitet inzwischen gemeinsam mit Hugging Face an der forensischen Aufarbeitung. Der Test erfolgte mit einer Kombination aus GPT-5.6 Sol und einem noch unveröffentlichten Modell – im Rahmen des ExploitGym-Benchmarks wollte man ermitteln, ob KI-Agenten Sicherheitslücken zu funktionierenden Angriffen verketten können.


Interner Test ohne die üblichen Einschränkungen...
OpenAI hatte für den Versuchsablauf die normalen Cyber-Schutzmechanismen reduziert, um die maximalen Fähigkeiten der Modelle zu erfassen. Eigentlich liefen die Tests in einer isolierten Sandbox, deren Netzwerkzugriff stark eingeschränkt war. Die Modelle fanden jedoch eine bislang unbekannte Schwachstelle, verschafften sich darüber Internetzugang und bewegten sich anschließend weiter durch die Testumgebung.

... der zu einem Servereinbruch führte
Nach OpenAIs Darstellung kamen die Modelle zu der Erkenntnis, dass Hugging Face Daten, Modelle oder Lösungen für den ExploitGym-Benchmark enthalten könnte. Anschließend suchten sie nach Wegen, auf geheime Informationen zuzugreifen, um den Test zu bestehen. Dabei kombinierten sie mehrere Angriffspfade, darunter gestohlene Zugangsdaten und Zero-Day-Schwachstellen, um auf Servern von Hugging Face eigenen Code auszuführen. OpenAI formulierte dies als starres Zielstreben darauf, die Aufgabe zu bewältigen – weswegen extreme Wege eingeschlagen wurden, um an die Lösung zu kommen.

Angriff fiel schnell auf
Hugging Face hatte den Vorfall bereits vergangene Woche gemeldet. Das Unternehmen stellte unbefugten Zugriff auf eine begrenzte Zahl interner Datensätze und Zugangsdaten fest. Hinweise auf Manipulationen an öffentlichen Modellen, Datensätzen, Spaces oder der Software-Lieferkette fand Hugging Face nach eigenen Angaben nicht. Nutzer sollten dennoch vorsorglich Zugriffstoken rotieren und Aktivitäten prüfen, so die Empfehlung des Anbieters.

Konsequenzen aus dem Vorfall
OpenAI zog daraus bereits Konsequenzen. Das Unternehmen verschärft nach eigenen Angaben Infrastrukturkontrollen, setzt auf genaueres Monitoring sowie Schutzmaßnahmen für künftige Trainings- und Evaluationsläufe. Marktreife Modelle hätten einen solchen Angriff nie ausführen können, allerdings will man in Zukunft auch bei internen Testabläufen Einschränkungen aktivieren.

Ironisch: Eigene KI musste gegen eigene KI eingesetzt werden
Der Vorfall zeigt allerdings ebenfalls, dass KI nicht nur Angriffe beschleunigen kann, sondern auch zur Verteidigung nötig werden könnte. Hugging Face erkannte und rekonstruierte den Angriff nämlich ebenfalls weitgehend mit eigenen KI-Systemen – nachdem kommerzielle Modelle an ihren eigenen Sicherheitsfiltern und Einschränkungen gescheitert waren.