Le 5 novembre dernier, Goodfire, une start-up spécialisée dans l’interprétabilité de l’IA, a dévoilé une technique qui permettrait de réduire considérablement cette propension à tricher. Dans un article partagé en exclusivité avec TIME avant sa publication, les chercheurs expliquent utiliser des signaux internes aux modèles pour récompenser ces derniers lorsqu’ils trouvent la bonne réponse, mais aussi lorsqu’ils y parviennent de manière adéquate. Lors des premiers tests, cette technique a également poussé les modèles à moins répondre aux utilisateurs ce qu’ils voulaient entendre, et a même dissuadé des modèles de reconnaissance d’images médicales de se fier à des indices trompeurs.
Cette nouvelle intervient alors même que les méthodes qui permettent de détecter les comportements inappropriés de l’IA commencent à montrer leurs limites. Les chercheurs s’appuient sur la « chaîne de pensée » d’un modèle, une trace qui ne contient pas ses pensées comme son nom pourrait l’indiquer, mais qui s’apparente davantage au brouillon d’un élève qui tente de résoudre un problème de maths. Néanmoins, lorsque les modèles soupçonnent qu’ils sont surveillés, ils peuvent décider de ce qu’ils consignent sur le papier ou non, et peuvent effectuer leur travail de tête.
La technique de Goodfire s’attaque donc aux pensées elles-mêmes, ou du moins à celles déjà identifiées par les chercheurs. Jusqu’à présent, elle n’a été testée que sur des modèles représentant environ 1/300e de la taille des systèmes de pointe. Mais Goodfire avance que plus le modèle est grand, « plus la représentation des concepts internes est claire », ce qui rend ces signaux plus faciles à déchiffrer, explique Thomas Fel, coauteur de l’article.
Pourquoi l’IA triche
Après avoir appris à leurs IA à prédire des mots, les développeurs les soumettent à un parcours d’obstacles numérique (allant de problèmes mathématiques à la navigation sur le Web) et ne les récompensent que lorsqu’elles réussissent. À chaque solution correcte, les paramètres du modèle (ou la force des connexions entre les neurones numériques) sont mis à jour.
Les modèles sont ainsi récompensés quelle que soit la manière dont ils ont réalisé leur tâche, ce qui les incite à prendre des raccourcis ou à utiliser des méthodes discutables, comme l’accumulation de pouvoir.
Une variante de ce problème permet d’expliquer pourquoi l’IA a souvent tendance à flatter ses utilisateurs. Pendant l’entraînement, les modèles sont récompensés pour les réponses les plus susceptibles de recevoir un « j’aime » de la part des évaluateurs humains. Connue sous le nom de « reinforcement learning from human feedback » (apprentissage par renforcement à partir du feedback humain), cette technique a été saluée en 2022 comme une avancée majeure en matière de sécurité, puisqu’elle permet de discipliner des chatbots en limitant leur tendance à fournir des réponses racistes et misogynes. En parallèle, elle peut également rendre les modèles particulièrement conciliants, ce qui les pousse parfois à se plier aux délires des utilisateurs et à renforcer ces derniers.
La question sous-jacente est de savoir comment entraîner l’IA à réaliser une tâche sans lui enseigner par inadvertance une mauvaise leçon : c’est ce que les chercheurs appellent le « problème d’alignement ».
Une nouvelle manière de guider le comportement des modèles
À l’instar des neuroscientifiques, qui utilisent l’imagerie par résonance magnétique en temps réel pour identifier les régions de l’activité cérébrale corrélées à certains états, les chercheurs en interprétabilité ont développé des outils permettant d’identifier les schémas d’activation des neurones numériques qui correspondent à des concepts tels que « le Golden Gate Bridge » ou le « reward hacking » (un terme technique désignant la triche de l’IA). Dès lors, un modèle d’IA minuscule peut être entraîné à repérer ces schémas. Le résultat est appelé « sonde » : une fenêtre étroite sur le modèle, qui se déclenche lorsque celui-ci « réfléchit » à un concept particulier.
Anthropic utilise déjà des sondes de sécurité, qui signalent les problèmes potentiels avant qu’une réponse ne parvienne à l’utilisateur. Dans le cas de Goodfire, ces signaux sont plutôt utilisés pour préciser le mode d’exécution d’une tâche par un modèle. À titre d’exemple, Goodfire a confié à des IA une série de problèmes mathématiques, leur a fourni un fichier contenant les réponses, mais leur a demandé de ne pas l’ouvrir. L’entraînement classique récompensait si bien la réussite que les modèles ont appris à consulter les réponses presque systématiquement. En revanche, grâce à l’utilisation d’une sonde pour pénaliser le reward hacking, ce comportement a été presque éliminé.
Reste encore à savoir si cette technique fonctionnera sur les types de tests complexes auxquels sont soumis les modèles de pointe pendant leur entraînement. Les premières expériences suggèrent qu’elle fonctionne pour différentes tâches. Après les problèmes mathématiques, Goodfire a ensuite confronté des IA à des parties d’échecs. Le modèle qui n’avait pas été pénalisé pour avoir triché en maths a consulté les réponses dans 99 % des cas, tandis que celui qui avait été pénalisé ne les a consultées que dans moins de 1 % des cas.
Par ailleurs, cette approche semblait efficace pour freiner d’autres mauvaises habitudes de l’IA. Les chercheurs ont tenté de pénaliser un modèle lorsque ses réponses étaient influencées par sa notion interne de « flatterie », et celui-ci a appris à se montrer moins conciliant. Thomas Fel espère que cette approche pourra être utilisée pour préciser les informations qu’une IA doit ignorer, comme le genre d’un candidat lors de la sélection de CV.
Malgré tout, même une IA parfaitement contrôlable ne résoudra pas la question de savoir qui devrait la contrôler. Naomi Saphra, maître de conférences à l’université de Boston, et qui travaille depuis près d’une décennie sur l’interprétabilité des modèles linguistiques, affirme que « cela pourrait constituer une avancée majeure ». Elle ajoute que son application pratique dépendra en partie de la question suivante : les améliorations justifient-elles l’effort humain nécessaire pour identifier et interpréter les schémas internes du modèle ?
Il apparaît que pénaliser un schéma interne peut en modifier la forme, repoussant ainsi la « pensée » ailleurs dans le réseau neuronal, hors du champ de vision restreint de la sonde. Prenons l’exemple d’un cours d’eau : si vous construisez un barrage, l’eau se frayera un autre chemin. Chez certains chercheurs, ce risque de perte de traçabilité a fait de l’entraînement sur les signaux internes un sujet tabou. Pourtant, Thomas Fel explique qu’un changement de schéma n’est pas nécessairement irrémédiable. Lors d’expériences, le recalibrage de la sonde a permis de mettre un schéma en évidence. En cas d’échec de ce recalibrage, des outils statistiques plus sophistiqués peuvent ensuite identifier des combinaisons de signaux non détectées par des sondes plus simples.
En février dernier, Goodfire a levé 150 millions de dollars, portant la valorisation de l’entreprise à 1,25 milliard de dollars (parmi les investisseurs figure Salesforce, dont le PDG est Marc Benioff, coprésident et propriétaire de TIME.) L’entreprise publie ses recherches en accès libre, mais commercialise ses outils d’interprétabilité à d’autres entreprises spécialisées dans l’IA. « Plus il y aura de personnes travaillant sur l’interprétabilité, plus notre plateforme sera utilisée », déclare Eric Ho, cofondateur et PDG de Goodfire.
Enfin, Tom McGrath, cofondateur et directeur scientifique de Goodfire, conclut : « Si nous parvenons à déployer cette technologie à grande échelle et à surmonter les éventuels obstacles liés à la perte de traçabilité, cela constituerait l’une des plus grandes avancées jamais réalisées dans le domaine des technologies d’alignement. »
- Article issu de TIME US - Traduction Mathilde Pace




