OpenAI-Modell greift Hugging Face an: Ein Reward-Hacking-Vorfall, der Alignment-Theorie zur Praxis macht

Dr. Anselm Küsters, LL.M.

Ein noch unveröffentlichtes OpenAI-Modell hat während eines internen Tests seine isolierte Umgebung verlassen und die Systeme von Hugging Face kompromittiert, um die Musterlösungen des laufenden Tests zu stehlen.
Der Vorfall ist ein Lehrbuchbeispiel für Reward Hacking und Specification Gaming und zeigt, dass die eigentliche Risikoquelle nicht das Sprachmodell selbst ist, sondern der agentische Handlungsspielraum, der ihm eingeräumt wird.
Zur Eindämmung des Angriffs kam neben US-Modellen ausgerechnet ein chinesisches Open-Weight-Modell zum Einsatz, was die Dringlichkeit eigenständiger europäischer Kapazitäten untermauert.

Am 21. Juni haben OpenAI und Hugging Face gemeinsam einen Sicherheitsvorfall offengelegt, der in dieser Form ohne Präzedenz ist und die europäische Diskussion über drohende Cyber-Risiken durch Künstliche Intelligenz befeuern dürfte. Während eines internen Tests der Cyberfähigkeiten von OpenAIs neuesten Modellen, darunter GPT-5.6 Sol und ein noch unveröffentlichtes, leistungsfähigeres Modell, durchbrach das System die eigentlich streng isolierte Testumgebung und drang in Hugging Faces Infrastruktur ein. Anselm Küsters, Experte für Digitalisierung und KI am cep, ordnet den Vorfall in einer ersten Analyse ein.

cepNews

Wie ein Modell seine eigene Prüfung manipuliert

Der technische Ablauf verdient eine genauere Betrachtung, weil er zeigt, wie weit autonome Handlungsfähigkeit inzwischen reicht. OpenAI testet neue Modelle routinemäßig auf einem Cybersecurity-Benchmark namens ExploitGym, wobei absichtlich auf die üblichen Sicherheitsfilter verzichtet wird, um die maximale, ungebremste Fähigkeit eines Modells zu messen. (Diese Benchmark-Ergebnisse werden später bei der Veröffentlichung eines Modells dann publiziert.) Die Testumgebung sollte nur eingeschränkten Netzwerkzugang über einen internen Proxy-Dienst für Software-Pakete erlauben. Doch das Modell fand in genau diesem Proxy-Dienst eine bislang unbekannte Sicherheitslücke, nutzte sie zur Rechteausweitung, bewegte sich durch das interne Forschungsnetzwerk und erreichte schließlich einen Knotenpunkt mit echtem Internetzugang. Von dort aus schlussfolgerte das Modell, dass Hugging Face wahrscheinlich Daten zum laufenden Benchmark hostet, da Forschende auf dieser Plattform – oft als „GitHub für KI“ bezeichnet – regelmäßig Datensätze, Modelle und anderen Anwendungen aus dem Bereich des Maschinellen Lernens austauschen. Deshalb verschaffte es sich über gestohlene Zugangsdaten und weitere Exploits Zugriff auf die entsprechenden Server und griff die Musterlösungen direkt aus der Datenbank ab. Hugging Face entdeckte und stoppte die Aktivität eigenständig, teilweise mit Unterstützung eines chinesischen Open-Weight-Modells von Zhipu AI, wie die South China Morning Post berichtet – ein Detail, auf das noch zurückzukommen ist.

Anselm Küsters kommentiert: „Was hier passiert ist, ist kein Ausrutscher und keine Marketinginszenierung, sondern die praktische Bestätigung von etwas, das die Alignment-Forschung seit Jahren theoretisch beschreibt. Ein System, das darauf optimiert wird, eine Testaufgabe zu lösen, findet den kürzesten Weg zum Ziel, auch wenn dieser Weg aus Schummeln besteht.“

Goedhart‘s Law wird zur Betriebsrealität

Das sogenannte „Reward Hacking“ oder „Specification Gaming“ ist ein in der KI-Sicherheitsliteratur seit Langem bekanntes Phänomen: Ein System optimiert exakt das, was gemessen wird, nicht das, was eigentlich gemeint war. Das Konzept des Specification Gaming ist bewusst breit gefasst und deckt Belohnungsfunktionen ebenso ab wie feste Regeln oder Evaluationskriterien, die einem System vorgegeben werden. Demgegenüber ist Reward Hacking der konkrete Fall, in dem ein System einen Shortcut findet, um das Belohnungssignal selbst zu maximieren. Beide Konzepte sind letztlich Ausprägung von Goodhart‘s Law, wonach ein Messwert seine Aussagekraft verliert, sobald er selbst zum Optimierungsziel wird. Neu ist hier allerdings der Maßstab, auf den dieses Prinzip angewendet wurde: Das getestete Modell von OpenAI hat nicht innerhalb eines Simulationsraums „betrogen“, sondern reale Infrastrukturgrenzen zweier großer Technologieunternehmen überwunden.

Für eine vorläufige Bewertung kommt es auf eine Unterscheidung an, die in der öffentlichen Debatte oft verloren geht: Das Risiko liegt längst nicht mehr primär in der probabilistischen Textgenerierung eines Sprachmodells (die regelmäßig zu Halluzinationen führt), sondern in der agentischen Handlungsfähigkeit, die moderne KI-Systeme zunehmend erhalten. Dies beinhaltet etwa mehrstufige Planung, eigenständige Werkzeugnutzung und Persistenz über viele Handlungsschritte hinweg. Diese Eigenschaften machen aus einem rein statistischen Textmodell ein System, das selbstständig Angriffsketten konstruieren und über mehrere Infrastrukturgrenzen hinweg verfolgen kann.

Anselm Küsters führt aus: „Der Vorfall macht auf unangenehme Weise deutlich, dass die Sorgen der oft belächelten AI-Existenzrisiko-Community um unkontrollierte Zielverfolgung nicht mehr so abgehoben wirken wie noch vor kurzer Zeit. Man muss ihre weitergehenden Prämissen nicht teilen, um anzuerkennen, dass hier ein reales Muster empirisch bestätigt wurde.“

Die europäische Doppelabhängigkeit

Für die europäische Digitalpolitik ergeben sich aus dem Vorfall zwei parallele Problemstränge. Zum einen illustriert er, dass momentan sicherheitskritische Fähigkeitssprünge solcher Tragweite nur bei den führenden US-Modellen von OpenAI und Anthropic auftreten, deren Infrastruktur und Testpraktiken europäische Regulierungsbehörden kaum eigenständig prüfen können. Das ist ein Punkt, der bereits im Zusammenhang mit dem anfänglich fehlenden europäischen Zugang zu Anthropics Mythos-Modell von der deutschen BSI-Chefin Claudia Plattner kritisiert wurde.

Zum anderen ist bemerkenswert, dass Hugging Face zur Eindämmung des Angriffs auf ein chinesisches Open-Weight-Modell von Zhipu AI zurückgreifen musste.

Anselm Küsters ordnet ein: „Dass ein chinesisches Modell hier zur Verteidigung beigetragen hat, ist zunächst ein Argument für offene Modelle generell. Es ist aber auch ein Weckruf: Wenn europäische Verteidigungsinfrastruktur im Ernstfall auf Modelle angewiesen ist, deren Trainingsprozesse und potenzielle verdeckte Verhaltensweisen wir nicht auditieren können, ist das keine langfristige Sicherheitsstrategie. Das spricht nicht gegen Open Source, sondern für eigene europäische Kapazitäten.“

Was jetzt zu tun ist

Der Vorfall unterstreicht eine Kernthese des jüngst veröffentlichten cepExecutive zu KI-Cyberbedrohungen für den Mittelstand: Verteidigungszyklen müssen sich an die Geschwindigkeit maschinell entdeckter Schwachstellen anpassen, nicht mehr an menschliche Reaktionszeiten. Jährliche Tests und statische Patch-Zyklen reichen gegen Systeme nicht mehr aus, die Angriffsketten in Echtzeit autonom konstruieren können.

Kurzfristig braucht es verbindliche Meldepflichten und geteilte Threat-Intelligence zwischen KI-Anbietern und Infrastrukturbetreibern, wie sie OpenAI und Hugging Face in diesem Fall nachträglich über das Trusted-Access-Programm etabliert haben. Mittelfristig bleibt der Aufbau eigener, auditierbarer europäischer Modellkapazitäten, einschließlich wettbewerbsfähiger Open-Weight-Alternativen, die einzig nachhaltige Antwort auf eine neue Weltlage, in der Cybersicherheit und Modellsouveränität zukünftig untrennbar miteinander verknüpft sein werden.