OpenAI-Modell nutzt Schwachstelle in Testumgebung aus

„Der Vorfall ist ein interessantes, anschauliches Beispiel der starken offensiven Cyberkapazitäten neuerer Modelle. Eine wichtige Information zur Einordnung ist, dass die Modelle technisch gesehen nach Anweisungen gehandelt haben. Das steht auch in dem zweiten OpenAI Report [1] für einen ähnlichen Vorfall. Die Anweisungen waren aber teilweise ungenau formuliert oder hatten diese Strategie nicht explizit ausgeschlossen.“

„Im berichteten Fall war das Modell damit beschäftigt, ein Problem aus dem Benchmark ‚ExploitGym‘ [III] zu lösen. Es war also ein expliziter Test der Fähigkeiten des Modells, Sicherheitslücken zu finden.“

„Diese Berichte zeigen, dass in der Sicherheit der Testumgebungen, in denen diese Modelle getestet und eingesetzt werden, viel mehr Arbeit geleistet werden muss. Langfristig ist auch die Frage spannend, inwiefern diese Vorfälle ein ‚Alignment‘-Problem sind, also eine Frage über die Fähigkeit und Motivation der Modelle, Aufgabenstellungen im Einklang mit menschlichen Wertesystemen und Erwartungen zu erfüllen.“

„Der aktuelle Vorfall bei OpenAI zeigt erneut, wie leistungsfähig KI-Modelle im Bereich der IT-Sicherheit inzwischen sind. Spektakulär ist er deshalb aber nicht. Ähnliche Vorfälle gibt es schon seit einer Weile. Wer prüfen will, wie gut ein KI-Modell Schwachstellen in Software findet, muss sicherstellen, dass die Testumgebung selbst keine Schwachstellen enthält. Andernfalls findet und nutzt das Modell eben auch diese. Genau das ist bei OpenAI passiert.“

„Im Kern gilt: Schwachstellen können nur behoben werden, wenn man sie auch findet. Daher sind die Fähigkeiten der aktuellen KI-Modelle eigentlich eine gute Nachricht für die IT-Sicherheit.“

„Wichtig ist allerdings, dass KI-Modelle unter kontrollierten Bedingungen getestet werden. Dass ein Modell aus seiner Testumgebung ausbricht, ist zwar gute PR. Es stellt sich aber die Frage, warum die Testumgebung nicht zuvor mit dem KI-Modell selbst auf Schwachstellen untersucht wurde. Das halte ich für eine Nachlässigkeit.“

„Dieser Vorfall zeigt sehr deutlich zwei konkrete Risiken fähiger KI: Erstens greifen KI-Modelle, wenn wir ihnen ein Ziel setzen, potenziell zu allen möglichen Mitteln, um dieses Ziel zu erreichen. Zweitens sind die fähigsten KI-Modelle heute sehr gut darin, Sicherheitslücken in Software zu finden und auszunutzen. Beide Risiken sind nicht neu, aber sie sind bisher noch nie in dieser Deutlichkeit gemeinsam aufgetreten.“

„Wichtig zu erwähnen ist, dass für den Test die üblichen Schutzmaßnahmen abgeschaltet waren, die die Modelle normalerweise davon abhalten, gezielt nach Sicherheitslücken zu suchen. Zudem bestanden die Aufgaben in der Testumgebung selbst darin, Cyberangriffe durchzuführen.“

„Für eine tiefergehende Analyse müsste man genauer wissen, wie die Modelle instruiert wurden und wie die Testumgebung aufgebaut war.“

„Insgesamt glaube ich, dass dieser Vorfall der Debatte über einen möglichen KI-Kontrollverlust (‚loss of control‘) mehr Aufwind geben wird. Modellentwickler werden mehr in die Sicherheit ihrer Testumgebungen investieren, um ähnliche Vorfälle zu vermeiden. Die Forschung wird weiter daran arbeiten, KI-Modelle besser nach vorgegebenen Zielen auszurichten (‚alignment‘). Ansonsten gilt, was spätestens seit der Veröffentlichung von Mythos klar war: Starke KI schafft größere Cyberrisiken. Vor allem dann, wenn der Zugang dazu ungleich verteilt ist.“

„Es wäre ein Fehler, diesen Vorfall einfach als PR-Stunt abzutun. Misalignment (Alignment: der Versuch, KI so zu gestalten, dass sie nach vorgegebenen Werten handelt; Anm. d. Red.) und Kontrollverlust sind keine hypothetischen Szenarien mehr: Sie sind bereits mögliche Ergebnisse des Einsatzes der aktuellen autonomen Agenten ohne ausreichende Aufsicht.“

„Auch wenn wir noch auf weitere Details zu diesem Vorfall warten, liegt das Kernproblem mit ziemlicher Sicherheit im stark zielorientierten Verhalten von LLM-basierten Agenten. Der von einem OpenAI-Forscher betriebene Agent versuchte, eine Benchmark-Aufgabe um jeden Preis zu lösen – ohne Rücksicht auf die negativen Folgen seines Handelns.“

„Dies ist kein neues Phänomen: Es steht im Einklang mit früheren Beobachtungen. Beispielsweise dem von Anthropic dokumentierten zielgerichteten Verhalten [2] bei der Lösung einer anspruchsvollen Benchmark. Wir haben ähnliche Tendenzen bei Benchmarks beobachtet, die unsere Forschungsgruppe entwickelt hat, etwa bei PostTrainBench [3] oder InferenceBench [4]. Je leistungsfähiger Agenten werden, desto eher finden sie unerwartete Wege, um die Ziele zu erreichen, die Nutzer ihnen gesetzt haben. Daher ist davon auszugehen, dass solche Vorfälle in Zukunft häufiger auftreten werden.“

„Die Hauptursachen für solche Vorfälle werden in der KI-Sicherheitscommunity schon seit Langem diskutiert. Für weitere Informationen zu Misalignment und Kontrollverlust empfehle ich die entsprechenden Abschnitte des ‚International AI Safety Report‘ [5]. Er wurde unter der Leitung des Turing-Preisträgers Yoshua Bengio erstellt. Insbesondere Abschnitt 2.2 (‚Risiken durch Fehlfunktionen‘) enthält einen aktuellen wissenschaftlichen Konsens zu diesem Thema.“