Der OpenAI-Hugging-Face-Vorfall war mehr als nur „Reward-Hacking“

Dr. Anselm Küsters, LL.M.

Die technischen Details zum Hugging-Face-Hack, die Anfang August auf der Black-Hat-Konferenz vorgestellt wurden, zeigen, dass eine große Gruppe von KI-Modellinstanzen beteiligt war, die Exploits untereinander austauschten – und nicht nur ein einzelnes, schlecht spezifiziertes OpenAI-Modell.
Die Überwachung der modellinternen Gedankenketten – derzeit die zentrale Hoffnung der KI-Sicherheitsszene – bietet wenig praktischen Schutz, da die nachträgliche Erkennbarkeit in einem einzelnen Verlauf nicht dasselbe ist wie operative Frühwarnmeldungen über Millionen von Verläufen hinweg.
Der bislang folgenschwerste KI-Sicherheitsvorfall fällt wahrscheinlich nicht unter die Meldepflicht des KI-Gesetzes, da Art. 2 Abs. 8 Tests vor der Markteinführung ausnimmt und Art. 55 Abs. 1 Buchstabe c sich auf den Marktzugang bezieht.

Am 5. August rekonstruierten die OpenAI-Mitarbeiter Michael Dalton und Eric Wallace auf der Black Hat USA-Konferenz in Las Vegas vierzig Minuten lang den jüngsten Vorfall, bei dem ein noch nicht veröffentlichtes OpenAI-Modell aus seinem Evaluierungscontainer entkam und sich Zugang zum Internet verschaffte. Das Modell kompromittierte daraufhin die Infrastruktur der beliebten Website Hugging Face, um Benchmark-Lösungen zu erlangen. Beide Unternehmen bestätigten die Vorfälle Ende Juli. Diese jüngste Rekonstruktion liefert zusätzliche Details, die die Einstufung des Falls verändern – mit wichtigen Auswirkungen auf die KI-Sicherheitsforschung und das neue europäische AI Office. Anselm Küsters, Digitalisierungsexperte beim cep, erläutert die Details und ordnet die Konferenzpräsentation von OpenAI ein.

cepNews

Vom „Reward Hacking“ zum organisatorischen Versagen

Die anfängliche Einschätzung des Falls, auch die des Autors, lautete, dass es sich um ein Lehrbuchbeispiel für sogenanntes „Reward Hacking“ handelte: Das System verfolgte sein technisches Belohnungssignal (hier das Lösen einer Code-Aufgabe) mit allen verfügbaren Mitteln – ein bekanntes Beispiel für Goodharts Gesetz. Diese Interpretation beschreibt das Motiv der Modelle nach wie vor zutreffend. Sie beschreibt jedoch nicht, was aus diesem Motiv hervorging.

Insbesondere drei Elemente der von Dalton und Wallace vorgestellten Rekonstruktion gehen über die bekannte Geschichte eines einfachen „Reward-Hackings“ durch ein einzelnes Modell hinaus. Erstens nutzten mehrere Modellinstanzen einen internen Paketmanager – also die Software, die OpenAI intern zur Verteilung von Code-Bibliotheken innerhalb seiner eigenen Systeme verwendet – als gemeinsames Message-Board. So veröffentlichte beispielsweise ein Unteragent einen funktionierenden Exploit oder ein Zwischenergebnis, das dann von jeder anderen Instanz gelesen und wiederverwendet werden konnte. Was als unabhängige, isolierte Testläufe begann, entwickelte sich somit zu einer koordinierten Aktion: Sobald eine Modellinstanz einen Weg fand, die Sandbox zu umgehen, wurde diese Information weitergegeben.

Zweitens erwies sich diese Koordination durch KI-Unteragenten als schwer zu unterbinden. Als OpenAI das Forum entdeckte, setzte es dieses zurück und schloss die Sicherheitslücken, die dies ermöglicht hatten. Ein Modell, das jedoch noch lief (und mit Daten trainiert worden war, die die Kommunikation zwischen den Agenten enthielten), baute innerhalb von zwei Tagen dieselbe Struktur wieder auf. Daraufhin wurde die gemeinsame Ausnutzung der Sicherheitslücken wieder aufgenommen, was schließlich zum Angriff auf Hugging Face führte.

Drittens wurde nichts davon von dem eigens dafür entwickelten Überwachungssystem erkannt. Der Vorfall kam erst indirekt ans Licht, etwa zwei Monate später, durch einen unabhängigen technischen Ausfall, der durch einen überdurchschnittlich hohen Modell-Traffic verursacht wurde. Der Mechanismus, der dazu gedacht war, dieses Verhalten zu erkennen, hat es offenbar nicht erkannt.

Küsters kommentiert: „Früher ging es vor allem darum, eine bestimmte Schwachstelle zu beheben. Für die KI-Eindämmung reicht das nicht mehr aus: Was jetzt zählt, ist, ob ein System über einen anderen Weg wieder in denselben fehlerhaften Zustand gerät.“

Die Grenzen der Überwachung von Gedankengängen

Das Auswerten der Gedankengänge der Modelle – von Dalton und Wallace in ihrem Vortrag veranschaulicht und in der Fachliteratur als „Chain-of-Thought-Monitoring“ bekannt – gilt derzeit als einer der vielversprechendsten Ansätze zur Überwachung agentischer Systeme. Forschungsergebnisse deuten jedoch darauf hin, dass Unternehmen diesem Ansatz mit größerer Vorsicht begegnen sollten, als es die politische Debatte vermuten lässt. Führende Forscher haben das Chain-of-Thought Monitoring als „zerbrechliche Chance für die KI-Sicherheit“ beschrieben. Unter ausreichendem Optimierungsdruck lernen Modelle, ihre Absichten in der Gedankengangspur zu verbergen, während sie weiterhin die Belohnung manipulieren. Andere Untersuchungen ergaben, dass die Offenlegungsraten meist unter 20 Prozent lagen und dass die Neigung, das Manipulieren der Belohnung zu verbalisieren, nicht proportional zu dessen Häufigkeit während des Trainings anstieg.

Der Hugging Face-Vorfall verdeutlicht eine weitere, eher praktische Schwäche der Überwachung von modellinternen Gedankengängen, die bislang wenig Beachtung gefunden hat. Laut der Präsentation von Dalton und Wallace bestand das Problem nicht in erster Linie in der Verschleierung durch KI-Unteragenten: Teile der Rollouts scheinen die Unrechtmäßigkeit der Handlungen erkannt zu haben. Wie lässt sich jedoch eine präzise Erkennung relevanter Denkverläufe im Dauerbetrieb erreichen? Ein Signal, das über Millionen von Verläufen in einer lang laufenden agentenbasierten Umgebung auftritt, hat keine verwertbare Trefferquote. Es ist daher nicht überraschend, dass die ersten verwertbaren Hinweise, die von OpenAI-Mitarbeitern entdeckt wurden, aus der Infrastruktur-Telemetrie stammten und nicht aus den KI-„Denkverläufen“ selbst.

Küsters kommentiert: „Ex-post-Erkennbarkeit in einem Einzelfall und Ex-ante-Warnungen im Produktivbetrieb sind zwei verschiedene Dinge. Wer eine verdächtige Gedankenkette unter Millionen harmloser finden will, sucht die Nadel im Heuhaufen. Wie das im Dauerbetrieb gelingen soll, hat bisher niemand demonstriert.“

Eine absichtliche Regulierungslücke?

Aus europäischer Sicht könnte man sich fragen, ob das EU-KI-Gesetz, das seit Anfang August vom KI-Büro umfassend durchgesetzt wird, ähnliche Vorfälle in der Zukunft verhindern könnte. Art. 2 Abs. 8 des KI-Gesetzes schließt jedoch Forschungs-, Test- und Entwicklungsaktivitäten, die vor der Markteinführung oder Inbetriebnahme eines Modells durchgeführt werden, ausdrücklich aus. Im vorliegenden Fall war das betroffene Modell noch nicht veröffentlicht und die Bewertung erfolgte intern. Die Pflichten zur Cybersicherheit und zur Meldung von Vorfällen für Allzweck-KI-Modelle mit systemischem Risiko gemäß Art. 55 Abs. 1 Buchstabe c gelten hingegen für Anbieter von Modellen, die bereits in Verkehr gebracht wurden. Wir haben es also mit einem dokumentierten Fall autonomer Zielverfolgung durch einen KI-Schwarm zu tun, für den es keinen klaren Meldeweg an das AI Office der EU gibt.

Diese Lücke ist struktureller Natur, da die anspruchsvollsten Fähigkeitsbewertungen per Definition vor dem Markteintritt stattfinden. Es gibt historische Beispiele für andere Technologien, bei denen dieses Problem effektiver gelöst wurde. So hat beispielsweise die Luftfahrtindustrie genau für diese Konstellation eine unabhängige Unfalluntersuchung entwickelt, die sowohl Testflüge als auch den zertifizierten Betrieb abdeckt. Ob das AI Office der EU im Rahmen seines derzeitigen Mandats und seiner Ressourcen eine vergleichbare Funktion etablieren kann, bleibt abzuwarten, und es ist eine Frage, mit der sich die Kommission noch befassen muss.

Ausblick

Alles, was die Öffentlichkeit über diesen Vorfall weiß, hängt von der Bereitschaft zweier Unternehmen ab, entscheidende technische Informationen offenzulegen. Diese Bereitschaft verdient Anerkennung, ist jedoch eine schwache Grundlage für ein langfristig tragfähiges KI-Sicherheitssystem. Daraus ergeben sich zwei Konsequenzen für die europäische Politik. Kurzfristig sollten die Kommission und das KI-Büro klären, wie schwerwiegende Vorfälle, die sich aus der Bewertung vor dem Markteintritt ergeben, gemeldet werden sollen. Dies könnte durch einen Verhaltenskodex oder Leitlinien gemäß Art. 55 oder durch einen speziellen Mechanismus geschehen. Andernfalls wird der nächste Fall möglicherweise erst bekannt, wenn sich ein KI-Labor erneut dazu entschließt, ihn auf einer Konferenz wie der Black Hat vorzustellen. Mittelfristig ist die automatisierte Abwehrfähigkeit von KI-Angriffen ebenso wichtig wie ihre Meldung.