How to Prevent the “Guernica of AI”

Das Problem liegt nicht nur in der unkalkulierbaren Technologie selbst. Zwar sind Menschen im Sinne der „human-in-the-loop“-Doktrin formal in die Entscheidungsprozesse eingebunden. In der Praxis aber stehen sie unter massivem Zeitdruck, müssen eine hohe Zahl an Zielvorschlägen prüfen und verlassen sich zunehmend auf die Einschätzungen der Systeme. Automatisierungsbias, fehlende Transparenz und unklare Verantwortlichkeiten untergraben die Kontrolle. „In vielen Fällen haben Operatoren nur sehr wenig Zeit, um einen KI-Vorschlag zu prüfen – oft ohne nachvollziehen zu können, wie das System zu seiner Einschätzung gekommen ist oder welche unbeabsichtigten Folgen sie haben können. Unter diesen Bedingungen wird aus Kontrolle schnell Abhängigkeit“, sagt cep-KI-Experte Dr. Anselm Küsters, der die Studie gemeinsam mit Ethik-Experte Dr. Niël Henk Conradie von der RWTH Aachen verfasst hat. Entscheidend sei, ob menschliche Kontrolle unter Einsatzbedingungen funktioniere. Dafür brauche es verbindliche, zuverlässige und überprüfbare Verfahren.

Der jüngste Konflikt zwischen dem US-Verteidigungsministerium und dem KI-Unternehmen Anthropic verdeutlicht die politische Dimension des Problems: Sicherheitsleitplanken werden als Hindernis für militärische Effizienz kritisiert. Für das cep greift dieses Framing zu kurz. Conradie betont, dass das normative Argument für verbindliche Standards und das strategische Argument sich gegenseitig stärken: „Die Vermeidung von KI-bedingten Zielfehlern ist nicht nur ethisch geboten, sondern operativ vorteilhaft, denn sie schont Ressourcen, erhält internationale Glaubwürdigkeit und reduziert die Gefahr eskalierender Fehler“. Deshalb seien Leitplanken keine operative Einschränkung, sondern auch militärisch sinnvoll. Um ein geopolitisches „Race to the Bottom“ zu verhindern, braucht es demnach glaubwürdige Bindungsmechanismen, zu denen verhaltensbasierte Offenlegungspflichten, „Computer“-Begrenzungen und Meldepflichten für KI-bedingte Vorfälle gehören. Ein EU- oder NATO-Standard für militärische KI, der diese Anforderungen operationalisiert, könnte als multilaterales Verhandlungsangebot dienen, bevor sich aufgrund wachsender KI-Fähigkeiten das Fenster für geordnete internationale Vereinbarungen schließt.