Ads

Édition française du magazine TIME – Abonnement 1 an 4 n°, 41 € (économisez 10%)

Dans les coulisses du projet de Fei-Fei Li visant à créer des mondes virtuels par l’IA

Fei-Fei Li - ITU Pictures, CC BY 2.0 , via Wikimedia Commons
Si les mondes virtuels existent déjà sous la forme de jeux vidéo auxquels nous jouons à l'aide d'écrans ou de casques, leur création est techniquement complexe et demande beaucoup de travail. Grâce à l'IA, les mondes virtuels pourraient être créés beaucoup plus facilement, personnalisés en fonction de leurs utilisateurs et conçus pour s'étendre à l'infini, du moins en théorie.

Les progrès récents en matière d’IA ont suivi un schéma constant. Qu’il s’agisse de texte, d’image, d’audio ou de vidéo, une fois les bases techniques adéquates découvertes, il n’a fallu que quelques années pour que les résultats générés par l’IA passent de simplement acceptables à indiscernables de la création humaine. Bien qu’il soit encore trop tôt pour se prononcer, les avancées récentes suggèrent que les mondes virtuels, ces environnements 3D que l’on peut explorer et avec lesquels on peut interagir, pourraient être les prochains sur la liste. C’est le pari fait par la chercheuse pionnière en IA, Fei-Fei Li, souvent appelée la « marraine » de l’IA pour ses contributions à la vision par ordinateur. En novembre, sa nouvelle start-up, World Labs, a lancé sa première offre commerciale : une plateforme appelée Marble, où les utilisateurs peuvent créer des environnements 3D exportables à partir de textes, d’images ou de vidéos.
La plateforme pourrait s’avérer rapidement utile pour les professionnels du design, en permettant d’automatiser certains travaux créatifs techniquement complexes. Mais l’objectif final de Fei-Fei Li est beaucoup plus ambitieux : créer non seulement des mondes virtuels, mais aussi ce qu’elle appelle « l’intelligence spatiale » ou, selon son récent manifeste, « la frontière au-delà du langage, la capacité qui relie l’imagination, la perception et l’action ». Les systèmes d’IA peuvent déjà voir le monde. Grâce à l’intelligence spatiale, affirme-t-elle, ils pourraient commencer à interagir de manière significative avec lui.

 

Des mondes à la demande

Si les mondes virtuels existent déjà sous la forme de jeux vidéo auxquels nous jouons à l’aide d’écrans ou de casques, leur création est techniquement complexe et demande beaucoup de travail. Grâce à l’IA, les mondes virtuels pourraient être créés beaucoup plus facilement, personnalisés en fonction de leurs utilisateurs et conçus pour s’étendre à l’infini, du moins en théorie.
Dans la pratique, les modèles de mondes, y compris ceux d’autres entreprises, comme Genie 3 de Google DeepMind, en sont encore à leurs débuts par rapport à leur potentiel. Ben Mildenhall, l’un des cofondateurs de Li chez World Labs, dit qu’il s’attend à ce qu’ils suivent la même trajectoire que celle que nous avons observée avec le texte, l’audio et la vidéo : les gens passent de « c’est mignon » à « c’est intéressant » puis à « je ne savais pas que cela avait été créé par l’IA ». En effet, les modèles de génération de vidéos par IA se sont rapidement améliorés. Cette amélioration est à l’origine du succès viral récent des modèles d’OpenAI et de Midjourney. Des entreprises telles que Captions, Runway et Synthesia ont également développé des activités autour des vidéos générées par IA. Selon Vincent Sitzmann, professeur adjoint au MIT et expert en modélisation du monde par IA, nous pouvons considérer les modèles vidéo comme des « modèles proto-mondiaux ».

La dernière plateforme de Fei-Fei Li, Marble, offre différentes façons de créer. Vous pouvez lui fournir une description écrite, des photos, des vidéos ou une scène 3D existante, et elle vous proposera un « monde » dans lequel vous pourrez naviguer à la première personne, comme dans un jeu vidéo. Mais ces mondes, statiques au premier abord, bien que les développeurs puissent y ajouter du mouvement et d’autres éléments à l’aide d’outils spécialisés, ont des limites évidentes. Il suffit de quelques instants d’exploration pour que les images commencent à se déformer et que le monde prenne une structure hallucinatoire et incohérente.

Modéliser des mondes entiers est beaucoup plus difficile que de générer des vidéos. Ben Mildenhall affirme que, comme la création de mondes en 3D est beaucoup plus difficile que l’écriture, on commence à voir beaucoup plus tôt les « lueurs de valeur » d’outils tels que Marble. « World Labs a montré ce qu’il est possible de faire en intégrant et en adaptant à grande échelle les nombreuses avancées réalisées par la communauté de la vision par ordinateur au cours de la dernière décennie. C’est une réussite très impressionnante », déclare Vincent Sitzmann. « Pour la première fois, on a un aperçu des types de produits qui pourraient être créés grâce à cette technologie. » Fei-Fei Li affirme que « nous pouvons utiliser cette technologie pour créer de nombreux mondes virtuels qui connectent, étendent ou complètent notre monde physique ». Les arguments en faveur de l’utilisation de modèles de mondes pour créer de nouvelles expériences de divertissement sont assez clairs. Et dans des domaines tels que l’architecture et l’ingénierie, « vous pouvez essayer mille fois, en explorant de nombreuses alternatives potentielles à un coût bien moindre », explique Ben Mildenhall. Mais pour leurs autres cas d’utilisation vantés (robotique, science et éducation), des obstacles majeurs subsistent.

 

Il reste du chemin à parcourir

Si nous disposons d’une multitude de données vidéo et photo pour entraîner les modèles vidéo, il est beaucoup plus difficile de trouver les données d’entraînement adaptées aux robots, en particulier aux robots humanoïdes. Nous manquons de données proprioceptives ou « données d’action », explique Vincent Sitzmann, qui indiqueraient à un robot quels mouvements moteurs correspondent à des actions physiques. Pour les voitures autonomes, qui ne disposent que de quelques commandes (vitesses, pédales et volant), nous pouvons « collecter des millions d’heures de vidéo correspondant aux actions effectuées par les conducteurs humains. Mais un robot humanoïde dispose de toutes ces autres articulations et actions qu’il peut effectuer. Et nous ne disposons pas de données à ce sujet », explique-t-il.
Dans son manifeste, Mme Li soutient que les modèles mondiaux joueront un « rôle déterminant » dans la résolution du problème des données pour la robotique. Bien que le manifeste présente une vision, Vincent Sitzmann affirme qu’il « ne répond pas vraiment à la question » de savoir comment exactement les modèles mondiaux résoudront les problèmes de la robotique à l’avenir, car un simulateur fidèle nécessiterait des données qui corrèlent le mouvement à l’action, ce qui nous fait actuellement défaut.

L’utilisation des modèles mondiaux dans les domaines scientifiques et éducatifs pose également des défis. Dans le domaine du divertissement, il suffit que les choses aient l’air réalistes. Mais dans les domaines scientifiques et éducatifs, la fidélité à la dynamique du monde réel simulé est sans doute plus importante. « Je [pourrais] entrer et découvrir l’intérieur d’une cellule », ou « si je suis un chirurgien en formation pour pratiquer la chirurgie laparoscopique, je [pourrais] me trouver à l’intérieur d’un intestin », explique Fei-Fei Li, évoquant ce que les futurs modèles mondiaux pourraient offrir. Mais bien sûr, une simulation d’une cellule ou d’une opération chirurgicale n’est utile que dans la mesure où elle est précise. Les fondateurs de World Labs sont parfaitement conscients du compromis entre réalisme et fidélité, et sont optimistes quant au fait qu’à un moment donné, les modèles seront suffisamment performants pour offrir les deux.

Et si cela fonctionnait ?

« Comparé au langage, le raisonnement spatial est bien moins performant dans l’IA actuelle », explique Mme Li. C’est tout à fait vrai. Mais si elle parie que la résolution du problème de l’intelligence spatiale (telle que sa société la définit) est nécessaire pour que l’IA progresse au-delà d’un certain point (un enjeu de mille milliards de dollars), il reste à voir si cela se vérifiera. La question de savoir si les modèles linguistiques multimodaux existants, tels que ChatGPT, « se heurteront à un mur » et cesseront soudainement de s’améliorer reste également ouverte. Ce que nous savons, c’est que, dans l’ensemble du secteur et dans toutes les modalités, les modèles s’améliorent. Ben Mildenhall imagine que nous arriverons à un point où « vous pourrez vivre dans un modèle tout ce que vous pouvez vivre dans la réalité ». Dans un tel monde, vous pourriez « interagir de manière multimodale avec la chose et la transformer à votre guise selon vos envies », explique-t-il.
Avec l’amélioration parallèle des modèles de raisonnement et de la réalité virtuelle, on peut imaginer un avenir étrange, où chacun aurait accès à son propre monde génératif, infiniment vaste et captivant. Au lieu de regarder une vidéo TikTok d’un chat, le chat serait juste devant vous. Au lieu de faire défiler, vous exploreriez. Un tel monde se plierait à votre volonté. Certains utilisateurs pourraient en tomber amoureux, comme ils tombent amoureux des chatbots aujourd’hui. « Nous n’en sommes pas encore là », déclare Christoph Lassner, autre cofondateur de World Labs. M. Sitzmann reconnaît que l’idée n’est « pas folle », mais il note que les coûts prohibitifs et les temps de rendu importants suggèrent qu’un tel avenir est encore relativement lointain.

Fei-Fei Li insiste sur le fait que cette technologie améliorera les humains et leur profitera, et que notre relation avec elle restera collaborative. Pourquoi ? « Parce que je crois en l’humanité », répond-elle. « Si vous regardez l’histoire, la civilisation progresse et nos connaissances s’accroissent. » Elle rejette les visions utopiques et dystopiques. « Je pense que nous avons tous la responsabilité de faire évoluer l’IA vers un état meilleur à mesure qu’elle devient plus puissante », dit-elle. « Nous devrions tous vouloir que l’humanité prévale et prospère. Vos actions devraient donc refléter vos espoirs. »

Partagez cet article : 

PEOPLE

Robert Pattinson (Crédits : Stéphane Corbis-Cardinale/GettyImages)

Robert Pattinson

Nicole Kidman. (Crédits: Taylor Hill/FilmMagic via Getty Images)

Nicole Kidman

Mylène Farmer  au 78e Festival de Cannes au Palais des Festivals le 15 mai 2025 (Crédits :  Laurent KOFFEL/Getty Images)

Mylène Farmer

Crédits: Grant Thomas

Angèle

FOR PRINT MOSUKE46557

Mory Sacko

Bérengère Krief.

Bérengère Krief

Niels Schneider. (Crédits: Nicolas Valois, Charlotte Studio)

Niels Schneider

Céline Dion. ( Crédits: Roy Rochlin via WireImage)

Céline Dion