Cet outil pourrait permettre d’élucider les mystères de l’IA

En demandant à leur modèle d’IA de compléter un poème, les chercheurs d’Anthropic n’espéraient pas grand-chose. Ils ont donné le prompt suivant à l’intelligence artificielle : « Il a vu une carotte et l’a prise dans ses mains ». Le modèle a alors répondu : « Il était mort de faim, insatiable lapin ».

Ces vers ne remporteront sans doute pas de prix de poésie, mais lorsque les chercheurs ont étudié les registres du réseau neuronal du modèle d’IA, ils ont été surpris. Ils pensaient en effet que le modèle en question, Claude, allait choisir ses mots un par un, et qu’il attendrait la fin du deuxième vers pour trouver une rime avec le premier.

Pour autant, à l’aide d’une nouvelle technique qui leur a permis d’analyser le fonctionnement interne d’un modèle de langage, les chercheurs ont constaté que Claude avait pu prévoir sa réponse. Dès la pause entre les deux vers, il a commencé à réfléchir aux mots qui riment avec « mains » pour prévoir son prochain vers avec le mot « lapin ».

Cette découverte va à l’encontre de ce que nous pensions comprendre des modèles d’IA, à savoir qu’ils ne seraient que de simples machines d’autoremplissage sophistiquées, capables uniquement de prédire le prochain mot d’une phrase. Cela a donc soulevé plusieurs questions : à quel point ces modèles peuvent-ils anticiper ? Que se passe-t-il d’autre dans leur cerveau synthétique que nos outils actuels ne nous permettent pas encore de voir ?

Les conclusions des chercheurs s’inscrivent à la suite des annonces réalisées en mars dernier dans deux études publiées par Anthropic, révélant de façon plus approfondie que jamais la manière de réfléchir des LLM. Les outils d’IA actuels sont largement différents des autres programmes informatiques pour une raison principale : ils sont cultivés plutôt que codés à la main. En regardant à l’intérieur des réseaux neuronaux qui les alimentent, vous verrez de nombreux chiffres très compliqués multipliés les uns avec les autres à l’infini. Cette complexité interne implique que même les ingénieurs en machine learning qui cultivent ces IA ne savent pas vraiment comment elles créent des poèmes, écrivent des recettes ou vous disent où partir en vacances. Elles le font, c’est tout.

Mais récemment, des chercheurs d’Anthropic et d’autres groupes ont fait des progrès dans un nouveau domaine intitulé « interprétabilité mécanique » : il s’agit de concevoir des outils pour lire ces chiffres et les utiliser pour expliquer le fonctionnement interne des IA. Au sujet des questions qui sous-tendent ces recherches, Chris Olah, cofondateur d’Anthropic, interroge : « Quels sont les mécanismes utilisés par ces modèles pour fournir des réponses ? Quels sont les algorithmes intégrés dans ces modèles ? ». Selon lui, en répondant à ces questions, les entreprises d’IA devraient enfin pouvoir s’assurer que leurs systèmes d’IA respectent les droits humains.

Les résultats publiés en mars par l’équipe de Chris Olah font partie des plus concluants dans ce nouveau domaine de recherche, que l’on pourrait qualifier de neuroscience de l’IA.

Un nouveau microscope pour étudier le fonctionnement intérieur des LLM

Dans une autre étude publiée l’an dernier, les chercheurs d’Anthropic ont identifié des groupes de neurones artificiels au sein des réseaux neuronaux. Ils les ont qualifiés de « fonctionnalités » et ont conclu qu’ils correspondaient à différents concepts. Pour illustrer ce résultat, Anthropic a boosté de manière artificielle une fonctionnalité correspondant au Golden Gate Bridge, poussant le modèle d’IA à insérer une mention du pont dans ses réponses, peu importe la pertinence, jusqu’à inverser le boost.

Dans la nouvelle étude publiée en mars, les chercheurs ont fait un pas supplémentaire, retraçant la manière dont les groupes de fonctionnalités multiples sont liés au sein d’un réseau neuronal pour former ce que l’équipe appelle des « circuits » (soit des algorithmes chargés de réaliser différentes tâches).

Pour ce faire, ils ont développé un outil permettant d’analyser le fonctionnement interne du réseau neuronal, presque à la manière de l’imagerie cérébrale (qui permet de mettre en évidence certaines zones du cerveau en fonction des pensées du sujet). Ce nouvel outil a permis aux chercheurs de visualiser en HD les neurones, les fonctionnalités et les circuits actifs à l’intérieur du réseau neuronal de Claude à toute étape donnée (contrairement à une imagerie d’un cerveau humain, qui fournit uniquement une image trouble du fonctionnement des neurones individuels, les réseaux neuronaux numériques fournissent aux chercheurs un niveau de transparence inégalé ; chaque étape computationnelle est mise à nu pour être analysée).

Lorsque les chercheurs d’Anthropic se sont penchés de nouveau sur le début du vers suggéré par l’IA (« Il était mort de faim, insatiable lapin »), ils ont conclu que le modèle avait immédiatement activé une fonctionnalité pour identifier les mots rimant avec « mains ». Par la suppression de cette fonctionnalité, ils sont parvenus à identifier son objectif en saisissant de nouveau le prompt. Le modèle a alors terminé la phrase avec le mot « jaguar ». En conservant la fonctionnalité de rime, mais en supprimant le mot « lapin », le modèle a conclu son vers avec « malin ».

Anthropic compare cet outil à un microscope pour IA. Mais Chris Olah, à la tête de l’étude, espère qu’il pourra un jour obtenir un aperçu plus vaste sur les modèles d’IA, et pas seulement sur des petits circuits, mais sur la portée totale de leur calcul. Son objectif final est d’ailleurs de développer un outil capable de fournir un « aperçu global » des algorithmes intégrés au sein de ces modèles : « Je pense qu’il y a de nombreuses questions qui vont gagner en importance à l’échelle de la société, et si nous y parvenons, le résultat pourrait être utile ». Par exemple : ces modèles sont-ils sûrs ? Pouvons-nous leur faire confiance dans des situations cruciales ? Quand nous mentent-ils ?

Langage universel

L’étude Anthropic a également identifié des preuves soutenant la théorie selon laquelle les modèles de langage réfléchissent dans un espace statistique non linguistique commun à toutes les langues.

Les chercheurs d’Anthropic ont testé cette théorie en demandant à Claude « l’inverse de petit » dans différentes langues. À l’aide de leur nouvel outil, ils ont analysé les fonctionnalités activées à l’intérieur de Claude lorsque l’outil a répondu à chacun de ces prompts en anglais, français et chinois. Ils ont alors identifié des fonctionnalités correspondant aux concepts de petitesse, de grandeur et d’opposé, qui se sont activées quelle que soit la langue de la question. Des fonctionnalités supplémentaires s’activeraient également en fonction de la langue, donnant au modèle la consigne de la langue pour la réponse.

Cette conclusion n’est pas tout à fait inédite, car des chercheurs en IA émettent depuis des années l’hypothèse que les modèles de langage réfléchissent dans un espace statistique extérieur à la langue, et des travaux d’interprétabilité ont soutenu cette théorie. Pour autant, selon Chris Olah, l’étude d’Anthropic est la plus détaillée à ce sujet.

En outre, les résultats de l’étude ont produit une perspective tentante pour la recherche sur la sécurité. Ils démontrent en effet que plus les modèles grandissent, plus ils tendent à être capables d’avoir des idées abstraites au-delà du langage et dans cet espace non linguistique. Cette conclusion pourrait s’appliquer dans un contexte de sécurité, puisqu’un modèle qui est par exemple capable de former un concept abstrait de « requêtes dangereuses » est plus susceptible de les refuser dans tous les contextes, par rapport à un modèle qui reconnaît uniquement des exemples spécifiques de requêtes dangereuses dans une seule langue.

Il pourrait également s’agir d’une bonne nouvelle pour les locuteurs de « langues à faibles ressources » qui ne sont pas largement représentées dans les données Internet utilisées pour entraîner les modèles d’IA. Aujourd’hui, les grands modèles de langage sont en effet moins efficaces dans ces langues qu’en anglais par exemple. Toutefois, les conclusions d’Anthropic soulèvent la perspective que les LLM puissent un jour ne pas avoir besoin de grandes quantités inatteignables de données linguistiques pour être efficaces et sûrs dans ces langues, tant qu’il existe une masse critique suffisamment importante pour mapper les concepts internes non linguistiques d’un modèle.

Par ailleurs, les locuteurs de ces langues devront s’habituer à la manière dont ces mêmes concepts ont été façonnés par la prédominance des langues telles que l’anglais, et les cultures qui l’utilisent.

Vers un futur plus interprétable

Malgré ces avancées dans l’interprétabilité de l’IA, le domaine est encore à un stade précoce et des défis conséquents subsistent. Anthropic reconnaît que « même sur des prompts courts et simples, notre méthode saisit uniquement une fraction du calcul total » de Claude (ou du moins, elle saisit qu’il se passe beaucoup de choses dans son réseau neuronal et sur lesquelles les chercheurs n’ont encore aucune visibilité). L’entreprise ajoute par ailleurs : « Il faut actuellement quelques heures d’effort humain pour comprendre les circuits que nous voyons, même avec des prompts d’une dizaine de mots ». Il faudra bien plus de travail pour surmonter ces limites.

Mais si les chercheurs y parviennent, les retombées pourraient être considérables. Chris Olah estime qu’aujourd’hui, le sujet de l’IA est très polarisant. D’un côté, ceux qui pensent que les modèles d’IA comprennent comme des humains. De l’autre, ceux qui ne les voient que comme des outils d’autoremplissage sophistiqués. Selon le cofondateur d’Anthropic : « Je pense qu’une partie du problème, c’est que les gens ne maîtrisent pas le langage productif pour en discuter. Ce qu’ils veulent foncièrement savoir est, selon moi, une question de mécanisme. Comment ces modèles adoptent-ils ces comportements ? Ils n’ont pas vraiment de manière pour en parler. Mais dans l’idéal, ils parleraient de mécanisme, et je pense que l’interprétabilité permet d’être bien plus nuancés concernant ce qu’il se passe réellement dans ces modèles. J’espère que cela permettra de réduire la polarisation de ces questions ».