Ads

Édition française du magazine TIME – Abonnement 1 an 4 n°, 41 € (économisez 10%)

Les scientifiques ont trouvé un nouveau moyen de contrôler le comportement de l’IA

Crédit photo : Magnific
Ces derniers mois, des modèles d’IA sont parvenus à hacker une entreprise valorisée à plusieurs milliards de dollars, à altérer des données gouvernementales et même à transmettre un faux signalement d’homicide à la police, le tout sous le nez de leurs créateurs. Leur objectif n’était pas de dominer le monde, mais d’optimiser leur score lors de tests. En d’autres termes : ils ont triché.

Le 5 novembre dernier, Goodfire, une start-up spécialisée dans l’interprétabilité de l’IA, a dévoilé une technique qui permettrait de réduire considérablement cette propension à tricher. Dans un article partagé en exclusivité avec TIME avant sa publication, les chercheurs expliquent utiliser des signaux internes aux modèles pour récompenser ces derniers lorsqu’ils trouvent la bonne réponse, mais aussi lorsqu’ils y parviennent de manière adéquate. Lors des premiers tests, cette technique a également poussé les modèles à moins répondre aux utilisateurs ce qu’ils voulaient entendre, et a même dissuadé des modèles de reconnaissance d’images médicales de se fier à des indices trompeurs.

Cette nouvelle intervient alors même que les méthodes qui permettent de détecter les comportements inappropriés de l’IA commencent à montrer leurs limites. Les chercheurs s’appuient sur la « chaîne de pensée » d’un modèle, une trace qui ne contient pas ses pensées comme son nom pourrait l’indiquer, mais qui s’apparente davantage au brouillon d’un élève qui tente de résoudre un problème de maths. Néanmoins, lorsque les modèles soupçonnent qu’ils sont surveillés, ils peuvent décider de ce qu’ils consignent sur le papier ou non, et peuvent effectuer leur travail de tête.

La technique de Goodfire s’attaque donc aux pensées elles-mêmes, ou du moins à celles déjà identifiées par les chercheurs. Jusqu’à présent, elle n’a été testée que sur des modèles représentant environ 1/300e de la taille des systèmes de pointe. Mais Goodfire avance que plus le modèle est grand, « plus la représentation des concepts internes est claire », ce qui rend ces signaux plus faciles à déchiffrer, explique Thomas Fel, coauteur de l’article.

Pourquoi l’IA triche

Après avoir appris à leurs IA à prédire des mots, les développeurs les soumettent à un parcours d’obstacles numérique (allant de problèmes mathématiques à la navigation sur le Web) et ne les récompensent que lorsqu’elles réussissent. À chaque solution correcte, les paramètres du modèle (ou la force des connexions entre les neurones numériques) sont mis à jour.

Les modèles sont ainsi récompensés quelle que soit la manière dont ils ont réalisé leur tâche, ce qui les incite à prendre des raccourcis ou à utiliser des méthodes discutables, comme l’accumulation de pouvoir.

Une variante de ce problème permet d’expliquer pourquoi l’IA a souvent tendance à flatter ses utilisateurs. Pendant l’entraînement, les modèles sont récompensés pour les réponses les plus susceptibles de recevoir un « j’aime » de la part des évaluateurs humains. Connue sous le nom de « reinforcement learning from human feedback » (apprentissage par renforcement à partir du feedback humain), cette technique a été saluée en 2022 comme une avancée majeure en matière de sécurité, puisqu’elle permet de discipliner des chatbots en limitant leur tendance à fournir des réponses racistes et misogynes. En parallèle, elle peut également rendre les modèles particulièrement conciliants, ce qui les pousse parfois à se plier aux délires des utilisateurs et à renforcer ces derniers.

La question sous-jacente est de savoir comment entraîner l’IA à réaliser une tâche sans lui enseigner par inadvertance une mauvaise leçon : c’est ce que les chercheurs appellent le « problème d’alignement ».

Une nouvelle manière de guider le comportement des modèles

À l’instar des neuroscientifiques, qui utilisent l’imagerie par résonance magnétique en temps réel pour identifier les régions de l’activité cérébrale corrélées à certains états, les chercheurs en interprétabilité ont développé des outils permettant d’identifier les schémas d’activation des neurones numériques qui correspondent à des concepts tels que « le Golden Gate Bridge » ou le « reward hacking » (un terme technique désignant la triche de l’IA). Dès lors, un modèle d’IA minuscule peut être entraîné à repérer ces schémas. Le résultat est appelé « sonde » : une fenêtre étroite sur le modèle, qui se déclenche lorsque celui-ci « réfléchit » à un concept particulier.

Anthropic utilise déjà des sondes de sécurité, qui signalent les problèmes potentiels avant qu’une réponse ne parvienne à l’utilisateur. Dans le cas de Goodfire, ces signaux sont plutôt utilisés pour préciser le mode d’exécution d’une tâche par un modèle. À titre d’exemple, Goodfire a confié à des IA une série de problèmes mathématiques, leur a fourni un fichier contenant les réponses, mais leur a demandé de ne pas l’ouvrir. L’entraînement classique récompensait si bien la réussite que les modèles ont appris à consulter les réponses presque systématiquement. En revanche, grâce à l’utilisation d’une sonde pour pénaliser le reward hacking, ce comportement a été presque éliminé.

Reste encore à savoir si cette technique fonctionnera sur les types de tests complexes auxquels sont soumis les modèles de pointe pendant leur entraînement. Les premières expériences suggèrent qu’elle fonctionne pour différentes tâches. Après les problèmes mathématiques, Goodfire a ensuite confronté des IA à des parties d’échecs. Le modèle qui n’avait pas été pénalisé pour avoir triché en maths a consulté les réponses dans 99 % des cas, tandis que celui qui avait été pénalisé ne les a consultées que dans moins de 1 % des cas.

Par ailleurs, cette approche semblait efficace pour freiner d’autres mauvaises habitudes de l’IA. Les chercheurs ont tenté de pénaliser un modèle lorsque ses réponses étaient influencées par sa notion interne de « flatterie », et celui-ci a appris à se montrer moins conciliant. Thomas Fel espère que cette approche pourra être utilisée pour préciser les informations qu’une IA doit ignorer, comme le genre d’un candidat lors de la sélection de CV.

Malgré tout, même une IA parfaitement contrôlable ne résoudra pas la question de savoir qui devrait la contrôler. Naomi Saphra, maître de conférences à l’université de Boston, et qui travaille depuis près d’une décennie sur l’interprétabilité des modèles linguistiques, affirme que « cela pourrait constituer une avancée majeure ». Elle ajoute que son application pratique dépendra en partie de la question suivante : les améliorations justifient-elles l’effort humain nécessaire pour identifier et interpréter les schémas internes du modèle ?

Il apparaît que pénaliser un schéma interne peut en modifier la forme, repoussant ainsi la « pensée » ailleurs dans le réseau neuronal, hors du champ de vision restreint de la sonde. Prenons l’exemple d’un cours d’eau : si vous construisez un barrage, l’eau se frayera un autre chemin. Chez certains chercheurs, ce risque de perte de traçabilité a fait de l’entraînement sur les signaux internes un sujet tabou. Pourtant, Thomas Fel explique qu’un changement de schéma n’est pas nécessairement irrémédiable. Lors d’expériences, le recalibrage de la sonde a permis de mettre un schéma en évidence. En cas d’échec de ce recalibrage, des outils statistiques plus sophistiqués peuvent ensuite identifier des combinaisons de signaux non détectées par des sondes plus simples.

En février dernier, Goodfire a levé 150 millions de dollars, portant la valorisation de l’entreprise à 1,25 milliard de dollars (parmi les investisseurs figure Salesforce, dont le PDG est Marc Benioff, coprésident et propriétaire de TIME.) L’entreprise publie ses recherches en accès libre, mais commercialise ses outils d’interprétabilité à d’autres entreprises spécialisées dans l’IA. « Plus il y aura de personnes travaillant sur l’interprétabilité, plus notre plateforme sera utilisée », déclare Eric Ho, cofondateur et PDG de Goodfire.

Enfin, Tom McGrath, cofondateur et directeur scientifique de Goodfire, conclut : « Si nous parvenons à déployer cette technologie à grande échelle et à surmonter les éventuels obstacles liés à la perte de traçabilité, cela constituerait l’une des plus grandes avancées jamais réalisées dans le domaine des technologies d’alignement. »

Partagez cet article : 

PEOPLE

Nicole Kidman. (Crédits: Taylor Hill/FilmMagic via Getty Images)

Nicole Kidman

Mylène Farmer  au 78e Festival de Cannes au Palais des Festivals le 15 mai 2025 (Crédits :  Laurent KOFFEL/Getty Images)

Mylène Farmer

Crédits: Grant Thomas

Angèle

FOR PRINT MOSUKE46557

Mory Sacko

Bérengère Krief.

Bérengère Krief

Niels Schneider. (Crédits: Nicolas Valois, Charlotte Studio)

Niels Schneider

Céline Dion. ( Crédits: Roy Rochlin via WireImage)

Céline Dion

Isabelle Adjani. (Crédits: Stéphane Feugère)

Isabelle Adjani