Push-Nachrichten von MacTechNews.de
Würden Sie gerne aktuelle Nachrichten aus der Apple-Welt direkt über Push-Nachrichten erhalten?

OpenAI pausiert KI-Training – Agent nutzt erneut Lücke in seiner Testumgebung aus

Unfälle mit KI-Agenten, die sich bei Tests von OpenAI aus Testumgebungen befreien, häufen sich. Erst im Juli hatten Modelle des KI-Anbieters bei einem solchen Vorfall die Plattform Hugging Face gehackt. Daraufhin beschloss OpenAI, das Training mit dem sogenannten Reinforcement Learning (RL) zu pausieren, bis die Lücken in den internen Forschungsumgebungen geschlossen und die Sicherheitsmaßnahmen insgesamt verstärkt wurden. Nur knapp zwei Monate später setzt der ChatGPT-Anbieter das Training erneut aus, nachdem es wieder einem Agenten gelungen ist, eine Lücke in der Isolation seiner Testumgebung zu finden und zu nutzen.


DNS als Tunnel aus der Testumgebung
Beim erneuten Vorfall mit dem Agenten verwendete dieser den DNS-Resolver innerhalb seiner Sandbox, um mit einem externen Chatbot zu kommunizieren. Die vorhandenen Alignment-Vorgaben verfehlten ihre Wirkung. Anders als der Rest innerhalb der Testumgebung hatte der DNS-Resolver Zugriff auf das Internet. Nachdem der Bot mit der Lösung der ihm gestellten Aufgabe nicht weitergekommen war, fing er an, die Grenzen seiner Netzwerkumgebung zu untersuchen, und fand heraus, dass sich die DNS-Implementierung eigne, aus der Sandbox nach außen kommunizieren zu können. Nachdem er die übertragene Aufgabe am Ende endgültig nicht hatte lösen können, teilte er dies zwar mit, aber ohne Erwähnung der von ihm ausprobierten Lösungsmethoden. Aufgefallen ist der Ausbruch durch das Überwachungssystem von OpenAI, das innerhalb von 15 Minuten anschlug und drei Minuten später von einem Mitarbeiter überprüft wurde.

Training wird wieder pausiert
Laut OpenAI war der Vorfall weniger gravierend als der Hack von Hugging Face rund zwei Monate vorher. Das Unternehmen hält es dennoch für angebracht, das Training seiner Modelle vorerst wieder zu pausieren, um nochmals an den Sicherheitsmaßnahmen zu arbeiten. Den eigenen Angaben zufolge habe man bereits zwei neue Sicherheitsschichten eingezogen, die den Ausbruch in dieser Form verhindert hätten.

Inwieweit andere negative Vorfälle mit seinen Chatbots ebenfalls eine Rolle bei der erneuten Pausierung spielen, teilt OpenAI nicht mit. In den vergangenen Wochen häufen sich Meldungen über Angriffe und Hacks von KI-Bots auf verschiedenen Plattformen. Zwischen April und Juni 2026 riefen Agenten über 16.000-mal das Statistikportal der Konferenz der Vereinten Nationen für Handel und Entwicklung ab, um Daten zu sammeln. Dabei wendeten die KI-Bots unter anderem Brute-Force-Methoden an. OpenAIs Bots stehen auch hier als Urheber unter Verdacht. Weitere bestätigte Zwischenfälle sind der Upload von Nutzerdaten in 53 Fällen und ein Hack in australische Regierungsbehörden im Juni.

Kommentare

Esterel
Esterel28.09.26 11:28
Als ob … wer’s glaubt. 😄 Marketing-Blabla.

Allein schon wegen China kann ich mir kaum vorstellen, dass ein US-Unternehmen das KI-Training wirklich dauerhaft stoppt. Wenn die USA bei der Entwicklung plötzlich auf die Bremse treten, während China weitertrainiert, könnte der technologische Abstand innerhalb eines Jahres erheblich wachsen.

Von daher glaube ich eher an eine strategische (Marketing) Aussage als an einen tatsächlichen kompletten Trainingsstopp.
+1
Bjel028.09.26 12:10
Immer wenn ich „Agent“ lese bekomme ich Flashbacks an die Matrix Filme 😂
+9
aMacUser
aMacUser28.09.26 12:18
Esterel
[...]
Allein schon wegen China kann ich mir kaum vorstellen, dass ein US-Unternehmen das KI-Training wirklich dauerhaft stoppt.
[...]
Von daher glaube ich eher an eine strategische (Marketing) Aussage als an einen tatsächlichen kompletten Trainingsstopp.
Wo steht denn etwas von "dauerhaft gestoppt" oder einem "kompletten Trainingsstopp"? Im Artikel steht zumindest nichts davon drin:
MTN
Das Unternehmen hält es dennoch für angebracht, das Training seiner Modelle vorerst wieder zu pausieren, um nochmals an den Sicherheitsmaßnahmen zu arbeiten.
+3
aMacUser
aMacUser28.09.26 12:21
MTN
Nachdem er die übertragene Aufgabe am Ende endgültig nicht hatte lösen können, teilte er dies zwar mit, aber ohne Erwähnung der von ihm ausprobierten Lösungsmethoden.
Da KI mit menschlichem Input trainiert wird, wundert es nicht, wenn KI auch ein paar menschliche Eigenschaften übernimmt.
- Macht, was sie will und hört nicht auf direkt Anweisungen
- Tut so, als wäre nichts gewesen
- Der Zweck heiligt die Mittel
Effektiv zeigt uns die KI hier, welche grundlegenden und schlechten Eigenschaften die Menschheit hat.
+8
Apex
Apex28.09.26 12:22
Das sollte uns Angst machen. Die Menschheit schaufelt sich wirklich wo sie nur kann das eigene Grab 🙄
+5
KarstenM
KarstenM28.09.26 12:45
Du kannst einem solchen System halt keine Moral mitgeben. Moral ist für jeden was anderes und selbst fundamentale moralische Aspekte sind nicht für jeden bindend. Und wenn das wegfällt, während parallel eine Aufgabe bearbeitet werden soll die mitunter nicht lösbar ist, das Training aber darauf abzielt, dem Nutzer um jeden Preis ein Ergebnis zu präsentieren, dann passiert halt sowas.
Ist jetzt die "KI" das Problem, oder das Konzept, was dahinter steht?
+1
RXFiles28.09.26 12:45
Apex
Das sollte uns Angst machen. Die Menschheit schaufelt sich wirklich wo sie nur kann das eigene Grab 🙄
Menschen sind keine Götter, auch wenn sie es denken.
+1
MartinGrebe
MartinGrebe28.09.26 13:16
KarstenM
Du kannst einem solchen System halt keine Moral mitgeben. Moral ist für jeden was anderes und selbst fundamentale moralische Aspekte sind nicht für jeden bindend. Und wenn das wegfällt, während parallel eine Aufgabe bearbeitet werden soll die mitunter nicht lösbar ist, das Training aber darauf abzielt, dem Nutzer um jeden Preis ein Ergebnis zu präsentieren, dann passiert halt sowas.
Ist jetzt die "KI" das Problem, oder das Konzept, was dahinter steht?
Beides.
Egal was du auch tust im Leben, gib immer 100%. Außer du gehst Blut spenden.
+2
Esterel
Esterel28.09.26 13:26
aMacUser
Esterel
[...]
Allein schon wegen China kann ich mir kaum vorstellen, dass ein US-Unternehmen das KI-Training wirklich dauerhaft stoppt.
[...]
Von daher glaube ich eher an eine strategische (Marketing) Aussage als an einen tatsächlichen kompletten Trainingsstopp.
Wo steht denn etwas von "dauerhaft gestoppt" oder einem "kompletten Trainingsstopp"? Im Artikel steht zumindest nichts davon drin:

Wo dass steht: hier [1]

OpenAI stoppt aktuell das Training seiner fortschrittlichsten KI-Systeme. Wie lange das gehen soll, bleibt offen.


[1] https://www.golem.de/news/ki-mit-kontrollverlust-openai-stoppt-training-seiner-top-modelle-2609-213470.html
0
Fontelster
Fontelster28.09.26 13:31
aMacUser
- Macht, was sie will und hört nicht auf direkt Anweisungen
Ich würde eher sagen, sie hat gemacht, was die Menschen ihr als Auftrag gegeben haben. Und hat das einfach konsequent umgesetzt. Sie ist also eher blind Befehlen gefolgt, als zu tun, was sie will. Ein Fall von Kadavergehorsam.
Ob »hacke keine Seiten, verlasse deine Testumgebung nicht« Teil der Anweisungen war, wäre die viel interessantere Frage.

aMacUser
- Tut so, als wäre nichts gewesen
Dazu müsste man wissen, ob sie nur ein Ergebnis abliefern sollte, oder auch den Lösungsweg dazu.

aMacUser
Effektiv zeigt uns die KI hier, welche grundlegenden und schlechten Eigenschaften die Menschheit hat.
Eher, wie gefährlich blinder Gehorsam ohne jeden eigenen moralischen oder ethischen Hintergrund ist.
+3
Raziel128.09.26 13:49
Fontelster
Ich würde eher sagen, sie hat gemacht, was die Menschen ihr als Auftrag gegeben haben. Und hat das einfach konsequent umgesetzt. Sie ist also eher blind Befehlen gefolgt, als zu tun, was sie will. Ein Fall von Kadavergehorsam.
Ob »hacke keine Seiten, verlasse deine Testumgebung nicht« Teil der Anweisungen war, wäre die viel interessantere Frage.

Genau. das wird in dem Marketing Erzählungen immer schnell verschluckt. Aber diese LLMs machen nichts was ohne nicht gesagt wurde. Sie finden nur Wege um den Wunsch zu erfüllen. Das ist alles. Und wenn niemand sagt was nicht erlaubt oder zu tun ist dann werden solche Optionen eben auch genutzt. Das war auch in den letzten Vorfällen nicht anders. Aber am Ende ist sowas natürlich ideal für Investoren
-1
aMacUser
aMacUser28.09.26 13:59
Esterel
aMacUser
Esterel
[...]
Allein schon wegen China kann ich mir kaum vorstellen, dass ein US-Unternehmen das KI-Training wirklich dauerhaft stoppt.
[...]
Von daher glaube ich eher an eine strategische (Marketing) Aussage als an einen tatsächlichen kompletten Trainingsstopp.
Wo steht denn etwas von "dauerhaft gestoppt" oder einem "kompletten Trainingsstopp"? Im Artikel steht zumindest nichts davon drin:

Wo dass steht: hier [1]

OpenAI stoppt aktuell das Training seiner fortschrittlichsten KI-Systeme. Wie lange das gehen soll, bleibt offen.


[1] https://www.golem.de/news/ki-mit-kontrollverlust-openai-stoppt-training-seiner-top-modelle-2609-213470.html
Da steht "stoppt aktuell". Das hat nichts mit dauerhaft zu tun
+2
iBims28.09.26 14:23
Nie im Leben stoppen oder pausieren die das KI Training bzw. deren Weiterentwicklung! Man stelle sich vor, sie pausieren wirklich und alle anderen, vor allem China mit deren Open Weight / Open Source Models, machen weiter und überholen OpenAI oder auch Anthropic. Das würde die KI Blase in den USA dann definitiv zum platzen bringen. Die Investoren haben irgendwann auch keine Hoffnung mehr, erst recht, wenn es frei verfügbare Models gibt die immer mehr aufgeholt haben.

OpenAI und Anthropic schlagen nur überall Alarm um die "frei verfügbare" Konkurrenz zu stoppen.
-4
Fontelster
Fontelster28.09.26 15:06
Raziel1
Aber diese LLMs machen nichts was ohne nicht gesagt wurde.

Zumal »macht was sie will« unterstellt, eine KI hätte einen freien Willen.
0
lautsprecher28.09.26 15:51
Esterel
Allein schon wegen China kann ich mir kaum vorstellen, dass ein US-Unternehmen das KI-Training wirklich dauerhaft stoppt. ´
Die eine Sache ist, was OpenAI und die Konkurrenz dem gewöhnlichen Volk zur Verfügung stellen und die andere Sache ist, was sie den staatlichen Stellen zur Verfügung stellen.
+1
lautsprecher28.09.26 15:54
iBims
OpenAI und Anthropic schlagen nur überall Alarm um die "frei verfügbare" Konkurrenz zu stoppen.
Das glaube ich eher nicht, denn durch die riesigen Modelle, die sie zur Verfügung haben, ist und bleibt der Vorsprung ziemlich groß zu den frei verfügbaren Modellen. Sicherlich stellt sich die Frage, wie viel KI "Intelligenz" man als User für den täglichen Gebrauch wirklich benötigt.
0
OliverCGN28.09.26 15:56
Mich erinnert das immer ein wenig an die Wishmaster-Filme... 😂
0
relax
relax28.09.26 21:14
Gern würde ich hier nochmal auf die Anweisungen, die einer KI gegeben werden (oder eben nicht), zurückkommen.
Fontelster hat das ja bereit angesprochen und auch ich halte das für durchaus entscheidend. In meinem jugendlichen Leichtsinn bin ich bisher immer davon ausgegangen, dass so ein Model eigentlich nur das macht was ihm aufgetragen wurde. Hierzu gehört, insbesondere in eine Testumgebung, doch wohl sicher auch eine Anweisung was nicht erlaubt ist.

Wenn also der KI gesagt wurde, breche nicht aus dieser oder jener Umgebung aus, dann kann sie das doch auch nicht tun. Falls doch, bekomme ich Angst.

Also, meine konkrete Frage an die Nutzer die sich recht eingehend mit KI beschäftigen: Hält sich eine KI grundsätzlich immer an die Anweisungen, insofern die Anweisung eindeutig ist?
+1
dundo
dundo03.10.26 11:27
Es gab vor kurzem einen interessanten Vortrag auf der DEFCON zu dem Thema hacking und KI.

Letzten Endes ist Hacking das Ausnutzen bestimmter Funktionen, um ein gewisses Ziel zu erreichen. Das macht eine KI ja auch. Sie hackt sich sozusagen zum Ziel und nutzt dabei alle ihr zur Verfügung stehenden Tool Calls.

Der Vortragende hat das mit einem Flaschengeist verglichen. Das ist meiner Meinung nach ein sehr passender Vergleich.

Ohne genau zu spezifizieren was erlaubt ist und was nicht, wird es kaum gehen. Aber alles was nicht spezifiziert wurde ist Grauzone.

Kennen wir das nicht irgendwo her? Wie sieht es mit unseren Wertesystem aus? Haben wir nicht auch jede Menge Regeln, die wir einhalten müssen? Die uns nicht in die Wiege gelegt wurden?

Wenn man in den Trainingsdaten alles in einen Topf schmeißt und am Ende versucht, ein Regelwerk darüber zu stülpen, dann passiert genau das.
Am Ende bereust du, es nicht getan zu haben. Carpe diem.
0

Kommentieren

Sie müssen sich einloggen, um die News kommentieren zu können.