Comment éviter le « Guernica de l'IA »

Le problème ne réside pas uniquement dans l’imprévisibilité de la technologie elle-même. Bien que les humains soient officiellement impliqués dans les processus décisionnels, conformément au principe du « human-in-the-loop », ils sont en réalité soumis à une pression énorme en termes de temps, doivent examiner un grand nombre de suggestions de cibles et s’appuient de plus en plus sur les évaluations des systèmes. Les biais liés à l’automatisation, le manque de transparence et le flou des responsabilités sapent le contrôle. « Dans de nombreux cas, les opérateurs ont très peu de temps pour examiner une suggestion de l’IA – souvent sans être en mesure de comprendre comment le système est parvenu à son évaluation ni quelles conséquences imprévues cela pourrait avoir. Dans ces conditions, le contrôle se transforme rapidement en dépendance », explique le Dr Anselm Küsters, expert en IA au cep, qui a rédigé l’étude en collaboration avec le Dr Niël Henk Conradie, expert en éthique de l’université RWTH d’Aix-la-Chapelle. Selon lui, le facteur crucial est de savoir si le contrôle humain fonctionne dans les conditions opérationnelles. Cela nécessite des procédures contraignantes, fiables et vérifiables.

Le récent différend entre le ministère américain de la Défense et la société d'IA Anthropic met en évidence la dimension politique de la question : les mesures de sécurité sont critiquées comme constituant un obstacle à l'efficacité militaire. Pour le cep, ce cadre de réflexion est insuffisant. Conradie souligne que l’argument normatif en faveur de normes contraignantes et l’argument stratégique se renforcent mutuellement : « Éviter les erreurs de ciblage induites par l’IA est non seulement un impératif éthique, mais aussi un avantage opérationnel, car cela permet de préserver les ressources, de maintenir la crédibilité internationale et de réduire le risque d’escalade des erreurs ». Pour cette raison, les mesures de sécurité ne constituent pas une contrainte opérationnelle, mais ont également un sens sur le plan militaire. Afin d’éviter une « course vers le bas » géopolitique, des mécanismes contraignants crédibles sont donc nécessaires, notamment des exigences de divulgation fondées sur le comportement, des limitations « informatiques » et des obligations de signalement pour les incidents liés à l’IA. Une norme de l’UE ou de l’OTAN pour l’IA militaire qui mettrait en œuvre ces exigences pourrait servir de proposition de négociation multilatérale avant que la fenêtre permettant de conclure des accords internationaux ordonnés ne se referme en raison des capacités croissantes de l’IA.