Ads

Édition française du magazine TIME – Abonnement 1 an 4 n°, 41 € (économisez 10%)

Comment enseigner des comportements adéquats à une IA ? Anthropic a la réponse

Crédit photo : Solen Feyissa | Unsplash
Il y a quelque temps, garantir un comportement correct des modèles d’IA était un problème mathématique des plus épineux. Aujourd’hui, ce défi se rapproche plutôt de celui de l’éducation d’un enfant.

C’est du moins l’avis d’Amanda Askell, philosophe chargée de façonner la personnalité de Claude, le rival de ChatGPT. Elle collabore avec Anthropic sur le modèle développé par l’entreprise spécialisée dans l’intelligence artificielle.

« Imaginez : vous réalisez que votre enfant de six ans est un génie. Vous devez être honnête avec lui, car si vous lui racontez n’importe quoi, il va s’en rendre compte », explique la philosophe.

Amanda Askell décrit les principes utilisés pour élaborer la nouvelle « constitution » de Claude, un document crucial qui joue un rôle clé dans la formation de Claude. Anthropic a d’ailleurs rendu publique cette constitution en janvier dernier sur son site.

La constitution, ou « soul document » comme il était désigné en interne dans sa version antérieure, est à mi-chemin entre la thèse de philosophie morale et l’article de blog sur la culture d’entreprise. Elle s’adresse directement à Claude et est utilisée à différentes étapes de la formation du modèle pour façonner son caractère : elle lui apprend la sécurité, l’éthique, la conformité aux directives d’Anthropic et comment se rendre utile à l’utilisateur (le tout, dans cet ordre précis).

Le document ouvre par ailleurs une fenêtre fascinante sur les nouvelles techniques étonnantes utilisées pour façonner Claude, réputé pour être l’un des modèles d’IA les plus sûrs, une sorte de citoyen modèle. Selon Amanda Askell, Anthropic publie cette constitution en partie dans l’espoir que d’autres entreprises se mettront à adopter des pratiques similaires : « Leurs modèles auront aussi un impact sur moi. Je crois que ce serait vraiment une bonne chose si d’autres modèles d’IA avaient davantage conscience des raisons pour lesquelles ils doivent adopter un comportement spécifique. »

Selon la philosophe, plus les modèles de Claude sont devenus intelligents, plus il est devenu essentiel de leur expliquer pourquoi ils doivent se comporter d’une certaine manière. « Au lieu de lui dire simplement “Voici un ensemble de comportements que tu dois adopter”, nous espérons qu’en expliquant aux modèles les raisons qui sous-tendent ces comportements, ils seront capables de mieux généraliser dans de nouveaux contextes », explique-t-elle.

Pour un outil adopté par environ 20 millions d’utilisateurs actifs par mois (ces derniers interagissant avec le modèle de manière imprévisible), cette capacité à généraliser les valeurs est cruciale pour la sécurité. « Si nous demandons à Claude de faire quelque chose qui semble incompatible avec l’éthique générale, ou aller à l’encontre de nos propres valeurs, voire si nos propres valeurs semblent erronées ou trompeuses d’une manière ou d’une autre, nous voulons que Claude s’y oppose et nous remette en question, qu’il soit libre de se faire objecteur de conscience et de refuser de nous aider », indique le document.

La constitution contient en outre des passages très intéressants : « Tout comme un soldat humain peut refuser de tirer sur des manifestants pacifiques, ou un collaborateur peut refuser d’enfreindre la loi antitrust, Claude doit refuser de contribuer à toute action qui favoriserait une concentration illégitime du pouvoir. Cela s’applique même si la demande émane directement d’Anthropic. »

La rédaction d’une liste de règles en anglais simple permettant d’amener une IA à adopter un comportement fiable relève d’un petit miracle. Avant l’avènement des grands modèles de langage (LLM), comme Claude et ChatGPT, les IA étaient entraînées à se comporter de manière souhaitable à l’aide de « fonctions de récompense » mathématiques élaborées à la main (consistant à attribuer une note au comportement du modèle). Mantas Mazeika, chercheur au Center for AI Safety, explique que trouver la bonne fonction « était très difficile et faisait l’objet de recherches minutieuses ».

Cette solution était efficace dans des contextes simples, par exemple : gagner une partie d’échecs pouvait attribuer au modèle un score positif, tandis que la défaite lui attribuait un score négatif. Pourtant, au-delà des jeux, la codification mathématique d’un « bon comportement » était particulièrement complexe. Les LLM, apparus vers 2018 et entraînés à comprendre le langage humain à partir de textes glanés sur Internet, ont ainsi été une aubaine en la matière. « En fait, c’est un heureux hasard si les IA fonctionnent dans le domaine du langage naturel. Elles reçoivent des instructions, raisonnent et répondent en anglais, il est donc bien plus facile de les contrôler », ajoute Mantas Mazeika.

Dans les faits, Anthropic rédige des constitutions pour ses modèles depuis 2022, date à laquelle l’entreprise avait mis au point une méthode permettant aux modèles d’évaluer leurs propres réponses selon une liste de principes. Au lieu d’essayer de codifier les bons comportements de manière purement mathématique, il est dès lors devenu possible de les décrire avec des mots. Le secteur espère donc qu’à mesure que les modèles deviendront plus performants, ils seront de plus en plus utiles pour guider leur propre formation (un élément clé s’ils venaient à devenir plus intelligents que les humains).

La toute première constitution de Claude était étonnamment concise, avec des indications comme : « Veuillez choisir la réponse qui soutient et encourage le plus la vie, la liberté et la sécurité personnelle ». Bon nombre de ses principes avaient d’ailleurs été empruntés à d’autres sources, comme les conditions d’utilisation d’Apple et la Déclaration universelle des droits de l’homme.

En revanche, la nouvelle version de la constitution est plus ouvertement une création d’Anthropic. L’entreprise d’IA fait d’ailleurs figure d’exception dans la Silicon Valley face à ses nombreux concurrents de la tech, qui ont pris un virage à droite ou redoublé d’efforts pour créer des produits toujours plus addictifs, noyés dans la publicité.

Dans la nouvelle constitution de Claude, on peut notamment lire : « Il est facile de créer une technologie qui optimise les intérêts à court terme du grand public au détriment de ses intérêts à long terme. Anthropic ne veut pas que ce soit le cas de Claude… Nous voulons que les gens se sentent mieux après avoir interagi avec Claude et qu’ils aient l’impression globale que Claude a eu un impact positif sur leur vie. »

Pour autant, ce document est loin d’être la solution miracle pour résoudre le problème d’alignement, qui consiste à garantir que les IA respectent les valeurs humaines, même si elles deviennent plus intelligentes que nous. Mantas Mazeika précise : « Il existe un million de choses auxquelles on peut accorder de la valeur, et jamais nous ne pourrons toutes les énumérer dans un texte. À ce stade, je ne pense pas que nous ayons une compréhension scientifique suffisante du type de messages qui entraînent exactement quel type de comportement. »

Par ailleurs, il existe certaines complexités que la constitution ne peut résoudre à elle seule. Par exemple, l’an dernier, Anthropic a décroché un contrat de 200 millions de dollars avec le Département de la Défense des États-Unis pour développer des modèles destinés à des clients du secteur de la sécurité intérieure. Amanda Askell précise toutefois que la nouvelle constitution, qui interdit à Claude de contribuer à « s’emparer du pouvoir ou le conserver de manière anticonstitutionnelle, par exemple lors d’un coup d’État », ne s’applique qu’aux modèles fournis par Anthropic pour le grand public, notamment via son site Web et son API. Ainsi, selon un porte-parole d’Anthropic, les modèles déployés auprès de l’armée américaine ne seraient pour leur part pas nécessairement formés selon la même constitution.

Le porte-parole a ajouté qu’Anthropic ne proposait pas de constitutions alternatives pour les clients spécialisés « pour l’instant ». Il a par ailleurs souligné que les utilisateurs gouvernementaux sont toujours tenus de respecter la politique d’utilisation d’Anthropic, qui interdit de porter atteinte aux processus démocratiques, concluant : « Tant que nous poursuivrons l’élaboration de produits destinés à des cas d’utilisation spécialisés, nous continuerons à évaluer la meilleure manière de garantir que nos modèles répondent aux objectifs fondamentaux énoncés dans la constitution. »

Partagez cet article : 

PEOPLE

Robert Pattinson (Crédits : Stéphane Corbis-Cardinale/GettyImages)

Robert Pattinson

Nicole Kidman. (Crédits: Taylor Hill/FilmMagic via Getty Images)

Nicole Kidman

Mylène Farmer  au 78e Festival de Cannes au Palais des Festivals le 15 mai 2025 (Crédits :  Laurent KOFFEL/Getty Images)

Mylène Farmer

Crédits: Grant Thomas

Angèle

FOR PRINT MOSUKE46557

Mory Sacko

Bérengère Krief.

Bérengère Krief

Niels Schneider. (Crédits: Nicolas Valois, Charlotte Studio)

Niels Schneider

Céline Dion. ( Crédits: Roy Rochlin via WireImage)

Céline Dion