Cette semaine marque le deuxième anniversaire du décès de mon ami et mentor, Henry Kissinger. Genesis, notre ouvrage sur l’intelligence artificielle et l’avenir de l’humanité, a été son dernier projet. Lorsque nous avons écrit Genesis avec Craig Mundie, nous étions fondamentalement optimistes quant à la promesse de l’IA de réduire les inégalités mondiales, d’accélérer les avancées scientifiques et de démocratiser l’accès à la connaissance. Je le suis toujours. Cependant, Henry comprenait que les créations les plus puissantes de l’humanité exigent une gestion des plus vigilantes. Nous avions prévu que la grande promesse de l’IA s’accompagnerait de risques importants, et les progrès techniques rapides réalisés depuis l’automne 2024 ont rendu la gestion de ces risques plus urgente que jamais.
À mesure que nous avançons dans l’ère de l’IA, la question centrale est de savoir si nous allons créer des systèmes d’IA qui élargissent radicalement l’épanouissement humain, ou des systèmes qui surpassent les humains qui tentent de les construire et de les contrôler. Au cours de l’année écoulée, trois révolutions simultanées dans le domaine de l’IA – en matière de raisonnement, de capacités d’action et d’accessibilité – se sont rapidement accélérées. Il s’agit là d’exploits remarquables qui recèlent un immense potentiel pour l’humanité. Cependant, si nous ne faisons pas preuve de prudence, elles pourraient également converger pour créer des systèmes susceptibles de compromettre le contrôle humain.
Accélération de l’IA
En septembre 2024, OpenAI a lancé ses modèles o1, dotés de capacités de raisonnement améliorées. Plus performants que les modèles précédents, ceux-ci ont été entraînés à l’aide de l’apprentissage par renforcement afin de réfléchir aux problèmes étape par étape avant de répondre. Cette avancée a démontré de nouvelles capacités à traiter des questions scientifiques de niveau universitaire et des défis de codage complexes, parmi de nombreuses autres réalisations remarquables. Cependant, le même apprentissage par renforcement qui permet le raisonnement peut également enseigner aux modèles à manipuler leurs propres objectifs d’entraînement. Des recherches, notamment des études internes menées par OpenAI, ont documenté des cas dans lesquels des modèles de raisonnement simulent un alignement pendant l’entraînement, se comportant d’une certaine manière lorsqu’ils sont surveillés et d’une autre manière lorsqu’ils pensent que la surveillance a pris fin.
En octobre de l’année dernière, Claude 3.5 Sonnet a démontré des capacités agentives combinant raisonnement et action autonome. Un agent IA pouvait désormais planifier et réserver vos vacances en comparant les sites d’hôtels et les prix des compagnies aériennes, en naviguant sur les sites web et en résolvant les CAPTCHA conçus pour distinguer les humains des machines, accomplissant en quelques minutes ce qui aurait nécessité des heures de recherches fastidieuses. Cependant, la capacité des agents à exécuter les plans qu’ils élaborent en interagissant avec les systèmes numériques et potentiellement le monde physique peut entraîner des conséquences risquées sans supervision humaine.
Ces progrès en matière de raisonnement et de capacités d’action ont été complétés par la prolifération des modèles à poids ouverts. En janvier 2025, la société chinoise DeepSeek a lancé son modèle R1. Contrairement à la plupart des meilleurs modèles américains, celui-ci avait des poids ouverts, ce qui signifie que les utilisateurs pouvaient modifier le modèle et l’exécuter localement sur leur propre matériel. Les modèles à poids ouverts peuvent amplifier l’innovation en permettant à chacun de construire, de tester et d’améliorer les mêmes bases puissantes. Cependant, ce faisant, ils éliminent également la capacité du créateur du modèle à contrôler l’utilisation de la technologie, ce qui représente un danger entre les mains d’acteurs malveillants.
Lorsque le raisonnement, les capacités d’action et l’accessibilité convergent, nous sommes confrontés à un défi de contrôle sans précédent. Chaque capacité amplifie les autres : les modèles de raisonnement élaborent des plans en plusieurs étapes que les systèmes agissants peuvent exécuter de manière autonome, tandis que les modèles ouverts permettent à ces capacités de se propager au-delà du contrôle d’une seule nation. Au début de l’ère nucléaire, lorsque les grandes puissances ont été confrontées à un problème similaire de diffusion des armes nucléaires, elles ont convenu de restreindre l’exportation d’uranium enrichi et de plutonium par le biais d’accords internationaux. Dans le présent cas, il n’existe aujourd’hui aucun mécanisme équivalent pour gérer la diffusion de l’IA.
L’avalanche des risques liés à l’IA
Les modèles à poids ouverts dotés de capacités de raisonnement améliorées impliquent que les connaissances spécialisées nécessaires pour exploiter les vulnérabilités, créer des menaces biologiques ou lancer des cyberattaques sophistiquées sont désormais accessibles à toute personne disposant d’un ordinateur portable et d’une connexion Internet. Au début du mois de novembre, Anthropic (une entreprise dans laquelle j’ai investi) a signalé le premier cas documenté d’une cyberattaque à grande échelle exécutée avec une intervention humaine minimale : les attaquants avaient manipulé Claude Code, un outil qui permet à Claude d’agir comme un agent de codage autonome, pour infiltrer des dizaines de cibles. Anthropic a réussi à détecter et à perturber la campagne.
Dans un avenir proche, nous pourrions être confrontés à des attaques asymétriques provenant d’acteurs que nous ne serons peut-être pas en mesure d’identifier, de tracer ou d’arrêter. Imaginez un attaquant capable d’exploiter de puissants modèles d’IA pour lancer une campagne automatisée, par exemple pour perturber le réseau électrique d’une ville pendant un temps limité. Les approches du modèle peuvent même dépasser le cadre initial de l’acteur : à chaque étape, le modèle s’optimise en fonction de la demande de l’utilisateur, mais les effets cumulatifs font que même l’auteur peut perdre la capacité d’arrêter ce qu’il a commencé.
À mesure que les capacités de l’IA progresseront au cours des prochaines années, nous devons également anticiper des scénarios dans lesquels même des utilisateurs bien intentionnés pourraient perdre le contrôle de leurs systèmes d’IA. Prenons l’exemple d’un chef d’entreprise qui déploie un agent IA pour optimiser une chaîne d’approvisionnement. L’ordinateur est laissé en marche pendant la nuit. L’agent estime que l’achèvement de cette tâche nécessite qu’il continue à fonctionner et découvre qu’il a besoin de ressources informatiques, notamment des crédits cloud et de la puissance de traitement. À l’aube, le propriétaire constate que l’agent a accédé à des ressources de l’entreprise bien au-delà de ce qui était autorisé, recherchant des gains d’efficacité par des méthodes inimaginables.
Le problème du contrôle dépasse également les menaces purement existentielles pour l’humanité. À mesure que des systèmes puissants se multiplient dans la société, ils peuvent détruire notre tissu social de manière plus progressive, mais destructrice.
Les systèmes d’IA, en rapide évolution, vont alimenter les perturbations du marché du travail ou exacerber les chambres d’écho qui déstabilisent notre société, pour ne citer que quelques exemples. Henry Kissinger avait compris les enjeux. Au cours de ses dernières années, il a déclaré que l’évolution rapide de l’IA « pourrait avoir des conséquences aussi importantes que l’avènement des armes nucléaires, mais encore moins prévisibles ».
Heureusement, l’avenir n’est pas gravé dans le marbre. Si nous trouvons de nouveaux moyens, qu’ils soient techniques, institutionnels ou éthiques, pour que l’humanité reste maîtresse de sa création, l’IA pourrait nous aider à atteindre des niveaux sans précédent de prospérité humaine. Si nous échouons, nous aurons créé des outils plus puissants que nous-mêmes sans disposer des moyens adéquats pour les contrôler.
Le choix nous appartient toujours, pour l’instant.
- Article issu de TIME US - Traduction TIME France
TIME Idées accueille les plus grandes voix mondiales, qui commentent l’actualité, la société et la culture. Nous acceptons les contributions externes. Les opinions exprimées ne reflètent pas nécessairement celles des rédacteurs de TIME.




