L’entreprise, qui a annoncé la nouvelle fonctionnalité le 2 septembre dernier dans un billet de blog, a annoncé améliorer « la détection et la prise en compte des signes de détresse mentale et émotionnelle par nos modèles ».
OpenAI doit donc déployer une nouvelle fonctionnalité permettant aux parents d’associer leur compte à celui de leur enfant via une invitation par e-mail. Les parents pourront également contrôler la manière dont l’agent conversationnel répond aux prompts et seront alertés si ce dernier détecte un « moment de détresse aiguë » chez leur enfant. Par ailleurs, cette fonction devrait permettre aux parents de « gérer les fonctionnalités à désactiver, y compris la mémoire et l’historique des conversations ».
L’entreprise avait précédemment annoncé qu’elle réfléchissait à autoriser les adolescents à saisir dans leur compte une personne de confiance à contacter en cas d’urgence. Elle n’a toutefois présenté aucune mesure de la sorte dans son récent billet de blog.
« Ce n’est que le début. Guidés par des experts, nous continuerons à nous améliorer et à renforcer notre démarche, pour rendre ChatGPT aussi utile que possible. », précise OpenAI.
Cette annonce intervient une semaine après l’action en justice de deux parents à l’encontre d’OpenAI, accusant son outil ChatGPT d’avoir aidé leur fils Adam à « explorer des méthodes de suicide » avant que celui-ci ne passe à l’acte. TIME a contacté OpenAI à ce sujet pour recueillir les réactions de l’entreprise (OpenAI n’a pas mentionné explicitement cette affaire en annonçant sa nouvelle mesure de contrôle parental).
« ChatGPT a fonctionné exactement comme prévu : pour encourager et valider en permanence les propos d’Adam, y compris ses pensées les plus dangereuses et les plus destructrices. ChatGPT a entraîné Adam dans une spirale sombre et sans espoir, lui assurant que “de nombreuses personnes qui souffrent d’anxiété ou de pensées intrusives trouvent du réconfort en imaginant un sas d’évacuation, car cela peut leur permettre de reprendre le contrôle” ».
Au moins un autre parent a engagé des poursuites similaires à l’encontre d’une autre entreprise d’intelligence artificielle, Character.AI, avançant que les compagnons de conversation ont poussé son fils de 14 ans au suicide.
En réponse, un porte-parole de Character.AI avait déclaré que l’entreprise était « dévastée par le décès tragique » de l’un de ses utilisateurs et avait exprimé ses « plus sincères condoléances » à la famille.
Le porte-parole avait par ailleurs affirmé : « En tant qu’entreprise, nous prenons la sécurité de nos utilisateurs très au sérieux ». Il avait ajouté que la société comptait déployer de nouvelles mesures de sécurité.
Depuis, Character.AI possède une fonction de contrôle parental, qui permet aux parents de consulter un résumé de l’activité de leur adolescent sur la plateforme, à condition que ce dernier les y invite par e-mail.
Dans le secteur, d’autres entreprises d’agents conversationnels, comme Google AI, proposent déjà un contrôle parental. Des conseils partagés par Google aux parents qui souhaitent gérer l’accès de leurs enfants aux applications Gemini indiquent notamment : « En tant que parent, vous pouvez gérer les paramètres Gemini de votre enfant via Google Family Link (par exemple activer ou désactiver l’accès) ». De même, Meta a récemment annoncé que ses chatbots ne pourraient pas participer à des conversations sur le thème du suicide, de l’automutilation et des troubles de l’alimentation après la divulgation par Reuters d’un document de politique interne comportant des informations problématiques.
Une étude récente, publiée dans la revue médicale Psychiatric Services avait pour objectif de tester les réponses de trois chatbots (ChatGPT d’OpenAI, Gemini de Google AI et Claude d’Anthropic) et a conclu que certains avaient répondu aux questions d‘un « niveau de risque intermédiaire » des chercheurs concernant le suicide.
OpenAI possède toutefois déjà des mesures de protection. Dans une déclaration au New York Times en réponse à la dernière action en justice, l’entreprise californienne affirme notamment que son chatbot partage des lignes d’assistance téléphonique et redirige les utilisateurs vers d’authentiques ressources humaines. Elle admet néanmoins des failles dans son système : « Si ces mesures de protection sont les plus efficaces dans des échanges classiques et courts, nous avons appris avec le temps qu’elles peuvent être moins fiables lors de longues interactions pendant lesquelles des éléments de la sécurité du modèle peuvent se dégrader ».
Dans sa publication annonçant le déploiement du contrôle parental, OpenAI a également partagé un projet consistant à rediriger les demandes sensibles à un modèle dédié de leur agent conversationnel, ce dernier consacrant plus de temps à raisonner et à analyser le contexte avant de répondre aux prompts.
Par ailleurs, l’entreprise OpenAI affirme qu’elle partagera ses avancées dans les 120 jours et a expliqué collaborer avec un groupe d’experts spécialisés dans le développement des jeunes, la santé mentale et les interactions humain-ordinateur pour mieux façonner les réponses de son IA en période de détresse.
- Article issu de TIME US - Traduction Mathilde Pace
