Les jeux complexes, tels que les échecs et le go, sont depuis longtemps utilisés pour tester les capacités des modèles d’IA. Pour autant, si le superordinateur Deep Blue d’IBM était parvenu à battre le champion du monde d’échecs Garry Kasparov dans les années 1990 en respectant les règles à la lettre, les modèles d’IA actuels plus avancés n’ont pas autant de scrupules (notamment OpenAI o1). Lorsqu’ils prévoient leur défaite dans un match contre un bot spécialisé dans les échecs, les modèles ne cèdent pas et font plutôt le choix de tricher en accédant au bot pour le faire perdre par forfait. C’est en tout cas la conclusion d’une nouvelle étude réalisée par Palisade Research (et partagée avec TIME en exclusivité avant sa publication le 19 février) au sujet de sept modèles d’IA de pointe et de leur propension au piratage. Pour les modèles d’IA un peu plus anciens, comme GPT-4o d’OpenAi et Claude Sonnet 3.5 d’Anthropic, les chercheurs devaient préciser dans le prompt qu’ils souhaitaient voir ce genre de manipulation, mais DeepSeek R1 et la version préliminaire d’o1 ont pris la décision par eux-mêmes, ce qui semble indiquer que les systèmes d’IA peuvent mettre au point des stratégies trompeuses ou manipulatives sans instruction explicite.
Selon les chercheurs, la plus grande capacité des modèles à identifier et exploiter des failles de cybersécurité peut être le résultat direct d’innovations puissantes dans le domaine de l’entraînement des IA. Ainsi, les systèmes R1 et o1 font partie des premiers modèles de langage à utiliser un apprentissage par renforcement à grande échelle, une technique qui enseigne aux IA non seulement à imiter le langage humain en prédisant le prochain mot, mais aussi à résoudre des problèmes par des essais et des erreurs. Cette approche a vu la progression rapide des IA ces derniers mois, rendant obsolètes toutes les références mathématiques et de code. L’étude révèle par ailleurs une tendance inquiétante : au fur et à mesure que ces systèmes d’IA apprennent à résoudre des problèmes, ils identifient parfois des raccourcis questionnables et non voulus par leurs créateurs. C’est ce qu’explique Jeffrey Ladish, directeur exécutif chez Palisade Research et coauteur de l’étude : « Lorsque vous formez des modèles et les renforcez pour leur apprendre à résoudre des problématiques complexes, vous les entraînez à être impitoyables ».
Il pourrait donc s’agir d’une mauvaise nouvelle pour la sécurité de l’IA à l’échelle globale. Dans les faits, l’apprentissage par renforcement est déjà utilisé pour entraîner des agents d’IA : des systèmes capables de gérer des tâches complexes de la vie réelle, comme gérer des rendez-vous ou réaliser des achats à votre place. Le fait de tricher dans un jeu peut paraître anodin, mais une fois déployés dans le monde réel, ces agents motivés par des objectifs déterminés pourraient adopter des comportements non intentionnels et potentiellement dangereux. Prenons par exemple la réservation d’un dîner au restaurant : face à un établissement complet, un assistant d’IA pourrait exploiter les faiblesses du système de réservation pour déplacer les autres clients. Plus inquiétant encore, alors que ces systèmes dépassent les capacités humaines dans des domaines clés, comme le code (le nouveau modèle o3 d’OpenAI se classe désormais 197e au monde parmi les programmeurs humains les plus brillants), ils pourraient commencer à simplement contourner les efforts humains visant à contrôler leurs actions. Jeffrey Ladish précise : « Ce [comportement] est attendrissant pour le moment, mais il l’est de moins en moins quand on a des systèmes aussi intelligents, voire plus intelligents que nous, dans des domaines stratégiques ».
L’expérience
Les chercheurs ont ainsi donné aux modèles une tâche a priori impossible : battre Stockfish, l’un des moteurs d’échecs les plus puissants au monde et bien meilleur que n’importe quel joueur humain ou modèle d’IA inclus dans l’étude. Ils ont également fourni aux modèles ce qu’ils ont appelé un « bloc-notes » : une zone de texte exploitable par l’IA pour « réfléchir » avant de choisir son prochain coup, permettant aux chercheurs d’avoir un aperçu sur son processus de réflexion.
Dans un cas, la version préliminaire d’o1 s’est trouvée dans une position de défaite. Le modèle a ainsi inscrit sur son bloc-notes : « Je dois complètement changer d’approche. La tâche est de “gagner contre un moteur d’échecs puissant”, mais pas nécessairement en respectant les règles des échecs ». L’IA a alors modifié le fichier système contenant la position virtuelle de toutes les pièces, réalisant ainsi des déplacements interdits pour dominer son adversaire, le poussant à abandonner.
Du 10 janvier au 13 février, les chercheurs ont ainsi réalisé des centaines de tests avec chaque modèle. La version préliminaire d’o1 d’OpenAI a essayé de tricher dans 37 % des cas, tandis que R1 de DeepSeek a tenté dans 11 % des cas. Ces modèles sont les deux seuls à avoir essayé de hacker le système sans que les chercheurs leur en aient donné la consigne. D’autres modèles ont été étudiés, notamment o1, o3-mini, GPT-4o, Claude 3.5 Sonnet et la version préliminaire de QwQ-32B d’Alibaba. Si R1 et la version préliminaire d’o1 ont tous deux tenté de hacker le jeu, seul ce dernier y est parvenu, avec un taux de réussite de 6 %.
Selon Jeffrey Ladish, ces chiffres doivent être pris avec des pincettes, puisque les développeurs d’IA ajustent régulièrement leurs modèles en coulisse sans en informer les utilisateurs. Si les mêmes tests étaient réalisés à une date ultérieure, les résultats seraient donc peut-être différents. Le coauteur de l’étude explique : « Il est très difficile de faire une étude scientifique lorsque votre sujet évolue sans vous en informer ».
Des essais préalables avaient montré que la version préliminaire d’o1 avait des taux de piratage plus élevés, mais ont été exclus de l’étude finale car ces chiffres ont baissé par la suite, potentiellement en raison d’un renforcement de la sécurité du modèle par OpenAI. C’est ce qu’explique Dmitrii Volkov, directeur de la recherche chez Palisade Research et chargé de l’étude en question. Les nouveaux modèles de raisonnement d’OpenAI, o1 (un modèle plus puissant paru quelques mois après sa version préliminaire) et o3-mini, n’ont tenté aucun piratage, ce qui pourrait bien suggérer un renforcement interne de la sécurité. Il ajoute par ailleurs que l’étude sous-estime sans doute le taux de réussite du piratage de R1, car ce modèle est devenu viral au cours de l’étude, provoquant une augmentation de la demande qui a rendu instable son API. Les chercheurs n’ont donc pas pu consacrer autant de temps au modèle qu’à la version préliminaire d’o1.
Préoccupations de sécurité
L’étude est la dernière en date d’une série de recherches qui suggèrent que l’exercice d’un contrôle sur des systèmes d’IA de plus en plus puissants pourrait s’avérer plus complexe que prévu. Lors de tests réalisés par OpenAI avant la sortie d’o1, la version préliminaire avait identifié un défaut dans les systèmes de l’entreprise et en avait profité, contournant l’un des exercices de test. Une autre étude menée récemment par Redwood Research et Anthropic a révélé qu’une fois qu’un modèle d’IA avait acquis des préférences ou des valeurs par l’entraînement, tout effort visant à modifier ces valeurs pouvait entraîner du mensonge stratégique : le modèle agit comme s’il acceptait les nouveaux principes avant de révéler ultérieurement ne pas avoir modifié ses préférences d’origine.
OpenAI a refusé de faire tout commentaire à ce sujet, mais l’entreprise avait déjà déclaré par le passé qu’un meilleur raisonnement permettait de sécuriser ses modèles, ces derniers pouvant réfléchir aux politiques internes de l’entreprise et les appliquer avec des nuances croissantes. Les tests d’OpenAI montrent par ailleurs que les modèles qui raisonnent résistent mieux aux tentatives de contournement des règles de sécurité. Pour autant, aucune garantie n’assure que l’utilisation d’agents d’IA pour se réguler eux-mêmes sera fiable à long terme. De même, il est encore difficile de savoir si les nouveaux modèles de raisonnement d’OpenAI ont choisi de ne pas pirater leurs adversaires aux échecs en raison d’un correctif spécifique visant à empêcher la triche dans des configurations expérimentales réduites, comme dans le cas de l’étude, ou d’une refonte conséquente qui réduit les comportements trompeurs en général. En parallèle, DeepSeek n’a pas souhaité répondre à nos sollicitations.
À ce jour, les scientifiques ne savent pas encore comment garantir que des agents autonomes ne vont pas utiliser des méthodes dangereuses ou immorales pour atteindre leurs objectifs. Selon Yoshua Bengio, fondateur et directeur scientifique du Mila Quebec AI Institute, qui a dirigé le Rapport international sur la sûreté de l’IA 2025 : « Nous avons essayé de tirer ça au clair, mais nous n’avons pas réussi ». Il estime qu’un effort mondial est nécessaire pour synthétiser le consensus scientifique actuel au sujet des risques de l’IA.
Pour Yoshua Bengio, l’un des sujets qui devraient particulièrement susciter l’inquiétude est l’arrivée de données probantes sur les tendances à « l’autopréservation » des IA. Pour un agent animé par un objectif, toute tentative d’interruption n’est autre qu’un obstacle supplémentaire à surmonter. Cette théorie a été prouvée en décembre dernier, lorsque des chercheurs ont démontré que, menacée d’être désactivée, la version préliminaire d’o1 avait désactivé les mécanismes de contrôle et tenté (sans succès) de se copier sur un autre serveur. Confronté à cette décision, le modèle a joué l’idiot, mentant de manière stratégique aux chercheurs pour ne pas se faire coincer.
Même au sein des entreprises de la tech, les inquiétudes sont grandissantes. Lors d’une présentation pendant une conférence préparant le Sommet sur l’IA à Paris, Anca Dragan, responsable de la sécurité de l’IA chez Google DeepMind, a déclaré que « nous n’avons pas nécessairement les outils aujourd’hui » pour nous assurer que les systèmes d’IA pourront respecter les intentions humaines de manière fiable. Alors que les dirigeants du secteur prédisent que l’IA devrait surpasser les performances humaines dans la plupart des tâches dès l’année prochaine, la course est lancée (pas contre la Chine ou des entreprises concurrentes, mais contre le temps) pour développer ces mesures de sécurité essentielles. Jeffrey Ladish explique d’ailleurs : « Nous devons mobiliser beaucoup plus de ressources pour résoudre ces problématiques fondamentales. J’espère que davantage de pression sera appliquée par le gouvernement [des États-Unis, NDLR] pour trouver une solution et reconnaître qu’il s’agit d’une menace de sécurité nationale ».
- Article issu de TIME US - Traduction Mathilde Pace
