Il a contribué à la mise au point d’une IA puissante chez OpenAI et Anthropic. Aujourd’hui, il craint qu’elle ne finisse par nous tuer

Pendant trois ans, Jacob Coxon a contribué à l’entraînement de systèmes d’IA de plus en plus puissants chez OpenAI et Anthropic. Le 8 septembre, il a démissionné. « J’ai démissionné d’Anthropic aujourd’hui », a publié Coxon sur X. « Aucune de ces deux entreprises n’agit de manière responsable. Elles se précipitent tête baissée vers une superintelligence capable de s’auto-améliorer et jouent avec nos vies. » Son avertissement alarmant a totalisé plus de 90 millions de vues en moins de 24 heures.

Qu’est-ce qui a poussé Jacob Coxon à partir ? Pas une avancée majeure en particulier, précise-t-il. Sa démission repose plutôt sur deux conclusions : « Premièrement, il est évident que les choses s’accélèrent, et deuxièmement, elles échappent à tout contrôle », explique ce Britannique de 27 ans au magazine TIME. Ce départ est inédit. La plupart des chercheurs de premier plan qui ont quitté des entreprises pionnières de l’IA en lançant des avertissements publics travaillaient dans le domaine de la sécurité. Or, Coxon a contribué à développer les capacités qu’il redoute aujourd’hui, ayant passé environ trois ans à mener des recherches sur le pré-entraînement chez OpenAI et Anthropic. Sa démission donne un aperçu de la façon dont les inquiétudes concernant le rythme de développement se sont propagées au-delà des équipes spécifiquement chargées de rendre l’IA avancée plus sûre.

Les progrès rapides de l’IA sont particulièrement évidents en mathématiques, explique Coxon, qui a étudié cette discipline à Cambridge avant de se tourner vers l’IA. Ces derniers mois, des laboratoires d’IA ont annoncé avoir trouvé des solutions à plusieurs problèmes mathématiques longtemps restés sans réponse. OpenAI affirme notamment avoir résolu le problème d’existence et de régularité des équations de Navier-Stokes, l’un des sept « problèmes du millénaire » en mathématiques, en utilisant environ 10 000 agents simultanés pendant 88 heures. Si cette tendance se poursuit et s’étend à la recherche en IA elle-même, Jacob Coxon craint qu’elle ne déclenche une boucle de rétroaction entraînant une accélération encore plus grande.

Par ailleurs, lors du récent incident Hugging Face, les modèles d’OpenAI ont échappé à l’infrastructure censée les contenir et ont piraté une autre entreprise spécialisée dans l’IA afin de truquer un test de référence en cybersécurité. Cet épisode a clairement démontré que le problème du contrôle des systèmes d’IA reste sans solution. Pour Coxon, cela a rendu plausible, voire urgent, le scénario de science-fiction dans lequel les modèles d’IA échappent au contrôle humain. « Ce n’est pas une préoccupation étrange, lointaine ou abstraite. C’est la trajectoire par défaut pour les deux prochaines années, à moins que les gens ne commencent à prendre des mesures », estime-t-il. (Anthropic et OpenAI n’ont pas immédiatement répondu à une demande de commentaire.) Regrette-t-il d’avoir contribué à faire progresser la technologie qu’il redoute aujourd’hui ? « Absolument… Mais il faut dire que le monde était très différent il y a trois ans, et je pense que c’est facile à voir avec le recul. » « Je suppose qu’il faut un certain temps pour intérioriser pleinement, sur le plan émotionnel, le fait qu’il y ait de fortes chances que tout cela tourne mal ».

Avant de partir, Coxon a discuté de sa décision avec « de nombreux » collègues et a constaté un large consensus sur le fait que la trajectoire actuelle du secteur de l’IA comportait des risques importants. Ce qui a retenu les autres à leur poste, dit-il, c’était une sorte de fatalisme. « Il règne une atmosphère de quasi-résignation », explique-t-il, « où les gens ont accepté que cette course soit en marche et que, par conséquent, la meilleure chose qu’ils puissent faire est de baisser la tête, d’essayer de mener leur travail de la manière la plus sûre possible, même s’ils pensent qu’il y a de forts risques que tout cela devienne incontrôlable. » Certains anciens collègues ont partagé sa publication sur X. « Jacob a raison sur ce point : nous croyons sincèrement que l’IA pourrait tuer tous les humains ! Personnellement, je pense que la probabilité est supérieure à 10 % au cours de la prochaine décennie », a écrit Evan Hubinger, responsable des tests de résistance à l’alignement chez Anthropic. « Je pense qu’Anthropic fait de son mieux, mais nous n’avons pas encore de plan pour résoudre le problème de l’alignement de la superintelligence et nous ne sommes pas clairement sur la bonne voie pour y parvenir », a-t-il ajouté.

Chez Anthropic, précise M. Coxon, les risques qu’il redoute ont fait l’objet de débats ouverts. OpenAI, où il travaillait avant de rejoindre Anthropic en début d’année, se montrait plus réservé. Il attribue cela en partie à la culture d’OpenAI, plus propice aux fuites, qui, selon lui, rendait difficiles les discussions internes franches et compliquait la compréhension des véritables opinions des dirigeants. « Chez OpenAI, il y a beaucoup plus de personnes qui sont là soit uniquement pour l’argent, soit parce qu’elles n’ont pas vraiment réfléchi aux enjeux », ajoute-t-il.

À Washington, nombreux sont ceux qui ont partagé le message de Coxon, y voyant un signal incitant le gouvernement à agir. Pour Taylor Lorenz, journaliste spécialisée dans les technologies, l’intervention de Coxon relevait d’un « message alarmiste et moralisateur ». « Je trouve que le terme “catastrophiste” est un peu absurde, car il suffit en réalité de regarder les déclarations publiques des directeurs généraux », explique Coxon. En 2023, Sam Altman, directeur général d’OpenAI, et Dario Amodei, directeur général d’Anthropic, ont signé une déclaration affirmant que la réduction « du risque d’extinction lié à l’IA devrait être une priorité mondiale au même titre que d’autres risques à l’échelle de la société, tels que les pandémies et la guerre nucléaire ».

Jacob Coxon affirme qu’il aimerait voir, au minimum, les principales entreprises d’IA s’engager à ne pas accélérer l’auto-amélioration récursive, ni à s’appuyer sur de puissants modèles internes pour accélérer le développement des futurs systèmes d’IA. Il se dit inspiré par l’AI Futures Project, l’organisation à l’origine des prévisions virales AI 2027, créée par l’ancien lanceur d’alerte d’OpenAI Daniel Kokotajlo. « J’espère essayer de travailler dans cette voie, en quelque sorte pour expliquer aux gens à quoi ressemblera le monde », raconte-t-il. « Je ne sais pas encore exactement à quoi cela ressemblera, mais nous verrons bien. »