How to Prevent the “Guernica of AI”

Il problema non risiede solo nella tecnologia imprevedibile in sé. Sebbene gli esseri umani siano formalmente coinvolti nei processi decisionali secondo la dottrina “human-in-the-loop”, nella pratica essi sono sottoposti a un'enorme pressione nelle tempistiche, devono esaminare un numero elevato di proposte di obiettivi e si affidano sempre più alle valutazioni dei sistemi stessi. Il Bias dell’automazione, la mancanza di trasparenza e le responsabilità poco chiare minano il controllo. «In molti casi gli operatori hanno pochissimo tempo per esaminare una proposta dell’IA – spesso senza riuscire a capire come il sistema sia giunto alla sua valutazione o quali conseguenze indesiderate possa avere. In queste condizioni, il controllo si trasforma rapidamente in dipendenza», afferma l'esperto di IA del cep, il Dott. Anselm Küsters, che ha redatto lo studio insieme all'esperto di etica, il dott. Niël Henk Conradie, della RWTH di Aquisgrana.

È fondamentale che il controllo umano funzioni nelle condizioni operative. A tal fine sono però necessarie procedure vincolanti, affidabili e verificabili.

Il recente conflitto tra il Dipartimento della Difesa degli Stati Uniti e l’azienda di IA Anthropic evidenzia la dimensione politica del problema: le misure di sicurezza vengono criticate come un ostacolo all’efficienza militare. Per il cep questa visione è riduttiva. Conradie sottolinea che l’argomento normativo a favore di standard vincolanti e l’argomento strategico si rafforzano a vicenda: «Evitare errori di mira causati dall’IA non è solo un imperativo etico, ma anche un vantaggio operativo, poiché risparmia risorse, mantiene la credibilità internazionale e riduce il rischio di errori a catena». Pertanto, le linee guida non costituiscono una limitazione operativa, ma sono anche sensate dal punto di vista militare.

Per evitare una „Race to the Bottom“ geopolitica, sono quindi necessari procedimenti vincolanti credibili, tra cui obblighi di divulgazione basati su schemi comportamentali, limitazioni «informatiche» e obblighi di segnalazione per gli incidenti causati dall’IA. Uno standard UE o NATO per l’IA militare, che renda operativi questi requisiti, potrebbe fungere da offerta negoziale multilaterale prima che la finestra per possibili accordi internazionali ordinati si chiuda a causa delle crescenti capacità dell’IA stessa.