FrontierScience, un nouveau benchmark publié en décembre dernier par OpenAI, suggère que les modèles d’IA avancent vers cet objectif et souligne la difficulté de tester les capacités des modèles au fur et à mesure qu’ils concurrencent celles des scientifiques humains. « Nous souhaitons mesurer rigoureusement la manière dont les modèles peuvent améliorer les capacités scientifiques et peut-être même accélérer les découvertes scientifiques », explique Miles Wang, chercheur dans l’équipe d’évaluation chargée du projet à OpenAI (TIME et OpenAI ont conclu un accord de licence et de technologie, qui permet à OpenAI de consulter les archives du TIME).
Le benchmark inclut des questions de physique, de chimie et de biologie réparties en deux niveaux de difficulté. Les questions de niveau Olympiad (une compétition de mathématiques très sélective aux États-Unis) testent « les limites des capacités de nombreux jeunes esprits brillants », explique Miles Wang. Le niveau de question Research, plus difficile, contient des questions posées par des doctorants et teste « le raisonnement ouvert, le jugement et la capacité à appuyer la recherche sur le terrain ».
« Les progrès ont été très rapides cette dernière année »
L’une des questions de l’étude, composée de deux paragraphes, portait sur les « atomes méso azote dans la phthalocyanine nickel (II) ». L’exécution des simulations informatiques pour répondre à cette question « pourrait prendre plusieurs jours », estime Francisco Martin-Martinez, maître de conférence en chimie au King’s College de Londres.
Une autre question traitait de la dérivation de « modes d’ondes électrostatiques » dans le plasma. Tom Ashton-Key, un doctorant spécialisé en physique du plasma à l’Imperial College de Londres, a expliqué au TIME : « J’ai effectué une analyse similaire plus tôt dans l’année pour un autre type d’onde… Il m’a fallu environ 3 semaines pour réussir mes calculs. Je consacre 5 à 10 % de mon temps à répondre à ce genre de questions. »
Les résultats du benchmark illustrent une tendance similaire à celle qui sous-tend l’essor de l’IA : une ligne diagonale qui grimpe vers la droite. Miles Wang précise : « Nous avons commencé ce benchmark il y a plusieurs mois, et les progrès n’étaient pas si flagrants ». Pour autant, au moment de la publication de l’article, la situation était différente : « Les progrès ont été très rapides cette dernière année avec [l’apprentissage par renforcement] et les modèles de raisonnement ».
Des capacités encore limitées
La version récente de GPT-5.2 lancée par OpenAI récemment présente les meilleurs résultats du benchmark, avec un score de 77,1 % pour les questions de niveau Olympiad, et de 25,3 % pour celles de niveau Research (bien que son amélioration dans cette dernière catégorie par rapport à son prédécesseur, GPT-5, soit négligeable). Si les modèles d’IA parviennent à atteindre un score de 100 % au niveau Research, ils apparaîtront dès lors comme « d’excellents collaborateurs et décupleront les progrès des doctorants ou des scientifiques ».
Toutefois, FrontierScience « ne mesure pas toutes les capacités scientifiques importantes », souligne Miles Wang. En effet, puisque les questions sont uniquement posées au format texte, la capacité à réaliser des expériences ou à analyser des fichiers image/vidéo des modèles n’est pas mesurée. Par ailleurs, le petit nombre de questions (100 questions au niveau Olympiad et 60 au niveau Research) limite toute comparaison fiable avec des modèles aux performances similaires. De même, l’étude manque aussi d’une base de référence humaine.
Jaime Sevilla, directeur de l’institut de recherche Epoch AI, a précisé au TIME dans un e-mail : « J’imagine que le benchmark sera étroitement lié aux travaux existants… et ne nous indiquera pas tant que ça le moment où les modèles seront réellement utiles pour aider la recherche, mais il est très difficile de faire autrement avec un benchmark. Dans l’ensemble, cela semble être un bon complément à l’écosystème de benchmarking. »
Des benchmarks externalisés
Les questions qui se posent vont au-delà de ce simple benchmark. Miles Wang ajoute : « Nous atteignons les limites de ce que nous pouvons évaluer de manière sûre en tant que non-initiés. Il est très coûteux, tant en termes de temps que d’argent, de trouver des experts dans des domaines extrêmement spécialisés. » En effet, lorsque la personne qui rédige la question est l’un des seuls experts au monde en la matière, il est difficile de trouver un tiers capable de déterminer la difficulté du problème.
Ainsi, le défi qui consiste à identifier des experts pour créer des benchmarks est externalisé par OpenAI et confié à des entreprises spécialisées dans l’annotation de données, comme Mercor ou Surge AI, toutes deux valorisées à plus de 10 milliards de dollars. Ces sociétés font appel à des experts issus d’institutions universitaires pour concevoir des questions et des barèmes visant à évaluer les réponses d’un modèle. Edwin Chen, fondateur et PDG de Surge AI, explique : « Si vous voulez voir l’hypothèse de Riemann résolue de votre vivant, quelles options s’ouvrent à vous ? Entraîner une IA pour la résoudre ou bien collaborer avec elle pour la résoudre ensemble. »
Par ailleurs, l’intelligence artificielle a déjà des répercussions conséquentes sur la recherche. AlphaFold, le logiciel de Google DeepMind, a prédit plus de 200 millions de structures de protéines, ce qui aurait nécessité des centaines de millions d’années de façon expérimentale. Un autre projet vise notamment à simuler et contrôler le plasma à l’intérieur d’un réacteur à fusion, tandis qu’un autre utilise des systèmes d’IA pour générer des prévisions météorologiques détaillées.
« Le gros lot serait une intelligence artificielle capable d’aider à la totalité du processus scientifique. »
Toutefois, il s’agit en grande partie d’applications niches d’intelligences artificielles qui visent une infime partie d’un domaine spécifique. Francisco Martin-Martinez concède : « AlphaFold fournit la structure d’une protéine et son repliement, mais ne dit rien sur ses propriétés électroniques ni sur l’emplacement des électrons ». Pour de nombreuses entreprises et start-ups spécialisées dans l’IA, le gros lot serait une intelligence artificielle capable d’aider à la totalité du processus scientifique (de la conception d’expériences à l’analyse de données) dans un vaste éventail de domaines.
Les grands modèles de langage (LLM) promettent exactement ce type de généralité. En mathématiques et en programmation, ils commencent d’ailleurs à faire leurs preuves. Sebastien Bubeck, un mathématicien employé chez OpenAI, a soumis à GPT-5 un problème que ses étudiants et lui-même avaient échoué à résoudre pendant des années. Il raconte : « Nous l’avons laissé mouliner pendant deux jours. Le modèle a identifié une identité miraculeuse qui a permis de résoudre le problème. »
Pour Keith Butler, professeur agrégé de chimie à l’University College de Londres, les tâches de programmation qui lui prenaient quatre heures ne lui prennent aujourd’hui plus que 30 minutes : « Je suis enfin capable de coder à nouveau ». Toutefois, quand il s’agit de faire des découvertes ou de proposer de nouvelles hypothèses dans son domaine, il avoue être « un peu plus sceptique ».
Vers des assistants de recherche fiables ?
D’autres sont plus sceptiques encore. C’est notamment le cas de Carlo Rovelli, physicien théoricien à l’université d’Aix-Marseille : « La quantité de stupidités produites par n’importe quel LLM est si colossale qu’on ne peut absolument pas s’y fier. ».
« Pour le moment, c’est un fardeau énorme, car les revues sont submergées de contributions », assure Carlo Rovelli, ajoutant que le nombre de contributions à la revue Foundations of Physics, dont il est le rédacteur en chef, a plus que doublé l’an passé. « La plupart sont proposées par des gens persuadés de faire de la science de haut niveau en discutant avec des LLM — c’est affreux. »
Malgré tout, si la tendance identifiée par FrontierScience se poursuit, les LLM pourraient bientôt devenir des assistants de recherche fiables. Et si la perspective enthousiasme Francisco Martin-Martinez, il avoue être « perdu » par le rythme du progrès. « Trop d’émotions. J’ai besoin d’un LLM pour les résumer. »
- Article issu de TIME US - Traduction Mathilde Pace




