L’IA, conseiller du président ?

En septembre, CNN a révélé que les États-Unis avaient frôlé une confrontation militaire avec la Chine. Pourquoi ? Selon le média, un analyste militaire ayant utilisé un agent conversationnel basé sur l’IA pour préparer une évaluation des renseignements concernant un navire chinois avait conclu, à tort, que ce dernier transportait des matières nucléaires. Des avions américains se seraient déjà trouvés en vol pour intercepter le navire lorsque l’erreur a été détectée.
Une vaste discussion s’en est suivie sur la manière dont un modèle d’IA avait pu commettre une erreur aussi dangereuse. Mais alors que ce débat s’estompe, il reste préoccupant de constater à quelle vitesse une évaluation assistée par l’IA a pu remonter la chaîne de commandement et acquérir le statut de renseignement vérifié.

Alors que nous débattons de l’impact d’une future superintelligence sur l’humanité, il apparaît de plus en plus clairement que l’IA fera très bientôt son entrée dans la salle de crise, si ce n’est déjà fait. Comme peut en témoigner quiconque a été confronté à une crise de sécurité nationale, on dispose souvent d’un excès d’informations, dont certaines sont contradictoires, sans disposer de beaucoup de temps ni de méthodes claires pour les trier. L’IA est capable de traiter des volumes de données de renseignement bien supérieurs à ceux de n’importe quelle équipe humaine, de détecter des schémas et des anomalies enfouies dans les données, et de donner du sens à des informations complexes en un temps remarquablement court. Mais quel sera son impact sur le jugement du président ?
D’après mon expérience dans l’étude de la prise de décision en situation de crise et l’évaluation des renseignements, je pense qu’il existe un risque réel que l’IA amplifie les biais propres aux dirigeants, en leur renvoyant leurs propres hypothèses avec l’autorité d’une analyse objective et la facilité d’un résultat sans équivoque.

Nous avons tendance à parler de l’IA comme s’il s’agissait d’un système totalement indépendant, d’un système de renseignement plus rationnel capable de compenser nos faiblesses. Mais en réalité, ce sont les humains qui ont construit ces modèles d’IA et les ont entraînés à partir de données produites par des humains. Nous posons ensuite à ces modèles d’IA des questions façonnées par nos propres convictions. Le résultat est loin d’être objectif.
Les failles de la prise de décision humaine sont bien connues. Les présidents et leurs conseillers ont toujours dû se prémunir contre le biais de confirmation, cette tendance à interpréter les preuves à la lumière de nos convictions préexistantes et à sous-estimer, voire à écarter, les faits qui indiquent le contraire. Nous savons que les êtres humains ont une attention sélective, un instinct qui les pousse à se concentrer sur les faits les plus marquants et à en négliger d’autres. Les présidents ne sont pas à l’abri de ces tendances.

À mon sens, un danger encore plus insidieux se cache dans notre utilisation de l’IA. Les décisions présidentielles reposent sur d’innombrables jugements implicites. Des personnes raisonnables peuvent être en désaccord sur chacune de ces estimations, et ces divergences font partie intégrante de ce que le jugement présidentiel doit résoudre. Les réduire à une simple évaluation de probabilité occulte plus qu’elle ne révèle, car elle ne montre pas quels indicateurs ont été jugés crédibles et lesquels ont été ignorés.
Prenons l’exemple de la nuit du 1er mai 2011. Le président Barack Obama avait réuni ses conseillers pour évaluer des renseignements indiquant qu’Oussama Ben Laden se cachait dans une propriété à Abbottabad, au Pakistan. Si ces renseignements s’avéraient exacts, il enverrait des troupes américaines. Mais ses conseillers de confiance, tous expérimentés et examinant pour l’essentiel les mêmes données, ont proposé des estimations individuelles allant d’environ 30 % à 95 %.
Imaginons maintenant qu’un puissant système d’IA se trouve dans cette pièce et synthétise ces évaluations pour aboutir à une probabilité de 63,7 % qu’Oussama Ben Laden se trouve là. Nous gagnerions certainement en précision. Mais qu’est-ce que nous perdrions ? Ce chiffre ne dirait pas au président pourquoi il y avait une différence aussi marquée entre les évaluations. Il ne l’informerait pas des hypothèses contradictoires sur lesquelles ces évaluations reposaient, ni de la manière dont les implications de l’action par rapport à l’inaction avaient été pesées. Mais pire encore, il n’alerterait pas le président sur le fait qu’il y avait un désaccord. Un tel chiffre « propre » peut donner l’impression qu’une question est résolue.
Ajoutons à cela que la CIA, la DIA, le Département d’État, les forces armées et d’autres agences s’appuieront probablement sur les mêmes modèles de base construits à partir de données et de sources qui se recoupent.
On pourrait théoriquement se retrouver avec 10 évaluations allant dans la même direction, mais toutes dérivées des mêmes éléments fondamentaux. La version IA de ce risque est le consensus synthétique : un accord institutionnel qui semble indépendant mais qui est en partie généré par un dispositif analytique commun et reproduit à grande échelle.

Mais si les problèmes sont bien connus dans le cadre de la prise de décision humaine, les stratégies pour y remédier le sont tout autant. Nous pouvons concevoir nos systèmes pour qu’ils agissent comme des adversaires bienveillants et former nos décideurs à interagir avec eux en tant que tels.
Sur le plan technologique, nous devons construire un système capable de répondre. L’IA utilisée dans le contexte de la sécurité nationale ne doit pas être optimisée uniquement pour la rapidité de réponse. Elle doit être conçue pour aider à identifier les éléments de preuve crédibles ; pour générer les explications concurrentes les plus solides ; pour distinguer les faits des inférences et des prédictions ; et pour rendre l’incertitude visible plutôt que de fabriquer de la précision. Un système conçu pour être conciliant est dangereux. Les points de friction et de désaccord sont souvent ce qu’il y a de plus révélateur et de plus précieux pour les dirigeants amenés à prendre des décisions difficiles.
Sur le plan humain, nous devons poser de meilleures questions. Cela implique de prendre en considération les a priori avant de faire appel à l’IA, ainsi que d’examiner de près ce que l’on croit et à quel niveau de confiance. Cela signifie relire et réexaminer la formulation et l’encadrement des questions. Plutôt que de chercher une confirmation, nous devrions demander explicitement des preuves qui réfutent nos hypothèses et des moyens de distinguer les explications concurrentes. Nous devrions même nous demander si nous nous concentrons sur la bonne question.
Et d’un point de vue structurel, le directeur du renseignement national devrait exiger que les produits de renseignement assistés par l’IA précisent s’ils proviennent tous de la même source de données ou de sources différentes. Lorsque dix agences s’accordent, le président devrait savoir s’il s’agit de dix jugements distincts ou d’un seul. Les décideurs politiques devraient également demander à différents modèles d’IA d’évaluer les mêmes éléments de preuve et d’examiner où et pourquoi leurs jugements divergent.

À mon sens, il serait trop simpliste de conclure, à partir de l’incident évité de justesse avec le navire chinois, que l’IA n’a pas sa place dans la salle de crise. Nous devons concevoir et utiliser l’IA de manière à ce qu’elle rende les dirigeants plus conscients des faiblesses de leur propre raisonnement, plutôt que de les renforcer. Dans le brouillard de la crise, les choix ne sont jamais évidents, et une seule personne porte en fin de compte le poids de la décision. Les outils que nous développons ne devraient jamais laisser un président l’oublier.