Your New Therapist: Chatty, Leaky, and Hardly Human
Si vous ou quelqu’un que vous connaissez traversez une crise de santé mentale, contactez le 988 Suicide & Crisis Lifeline en composant ou en envoyant un SMS au « 988 ».
Vince Lahey de Carefree, Arizona, adopte les chatbots. Des produits Big Tech aux produits « louches », ils offrent « quelqu’un avec qui je pourrais partager plus de secrets que mon thérapeute ».
Il aime particulièrement les applications pour obtenir des commentaires et du soutien, même si parfois elles le réprimandent ou l’amènent à se battre avec son ex-femme. “Je me sens plus enclin à partager davantage”, a déclaré Lahey. “Je me fiche de leur perception de moi.”
Il y a beaucoup de gens comme Lahey.
La demande de soins de santé mentale a augmenté. Les jours de mauvaise santé mentale autodéclarés ont augmenté de 25 % depuis les années 1990, selon une étude analysant les données d’une enquête. Selon les Centers for Disease Control and Prevention, les taux de suicide en 2022 ont atteint un sommet de 2018 qui n’avait pas été vu depuis près de 80 ans.
De nombreux patients trouvent un thérapeute non humain, alimenté par l’intelligence artificielle, très attrayant – plus attrayant qu’un humain doté d’un canapé inclinable et d’une attitude sévère. Les réseaux sociaux regorgent de vidéos implorant un thérapeute qui n’est « pas à l’heure », qui porte moins de jugement ou qui coûte tout simplement moins cher.
La plupart des personnes qui ont besoin de soins n’en reçoivent pas, a déclaré Tom Insel, ancien directeur de l’Institut national de la santé mentale, citant les recherches de son ancienne agence. Parmi ceux qui le font, 40 % reçoivent des « soins minimalement acceptables ».
« Il existe un besoin massif de thérapies de haute qualité », a-t-il déclaré. “Nous sommes dans un monde dans lequel le statu quo est vraiment merdique, pour utiliser un terme scientifique.”
Insel a déclaré que les ingénieurs d’OpenAI lui avaient dit l’automne dernier qu’environ 5 à 10 % des quelque 800 millions d’utilisateurs de l’entreprise comptaient sur ChatGPT pour le soutien en matière de santé mentale.
Les sondages suggèrent que ces chatbots IA pourraient être encore plus populaires parmi les jeunes adultes. Un sondage KFF a révélé qu’environ 3 personnes interrogées sur 10 âgées de 18 à 29 ans se sont tournées vers les chatbots IA pour obtenir des conseils en matière de santé mentale ou émotionnelle au cours de l’année écoulée. Les adultes non assurés étaient environ deux fois plus susceptibles que les adultes assurés de déclarer utiliser des outils d’IA. Et près de 60 % des adultes interrogés qui ont utilisé un chatbot pour la santé mentale n’ont pas fait de suivi auprès d’un professionnel en chair et en os.
L’application vous mettra sur le canapé
Une industrie en plein essor d’applications propose aux thérapeutes IA des avatars ressemblant à des humains, souvent irréalistes, servant de caisse de résonance à ceux qui souffrent d’anxiété, de dépression et d’autres conditions.
KFF Health News a identifié quelque 45 applications de thérapie par l’IA dans l’App Store d’Apple en mars. Bien que beaucoup facturent des prix élevés pour leurs services (l’un d’entre eux propose un forfait annuel de 690 $), ils restent généralement moins chers que la thérapie par la parole, qui peut coûter des centaines de dollars de l’heure sans couverture d’assurance.
Sur l’App Store, le terme « thérapie » est souvent utilisé comme terme marketing, avec des petits caractères indiquant que les applications ne peuvent pas diagnostiquer ou traiter une maladie. Une application, baptisée OhSofia ! AI Therapy Chat, a enregistré des téléchargements dans les six chiffres, a déclaré OhSofia ! fondateur Anton Ilin en décembre.
« Les gens recherchent une thérapie », a déclaré Ilin. D’une part, le nom du produit promet un « chat thérapeutique » ; d’autre part, il prévient dans sa politique de confidentialité qu’il « ne fournit pas de conseils médicaux, de diagnostics, de traitements ou d’interventions en cas de crise et ne se substitue pas aux services de santé professionnels ». Les dirigeants ne pensent pas que cela prête à confusion, car l’application contient des clauses de non-responsabilité.
Les applications promettent de gros résultats sans sauvegarde. L’un promet à ses utilisateurs « une aide immédiate en cas d’attaques de panique ». Un autre affirme que son efficacité a été « prouvée par les chercheurs » et qu’il offre un soulagement 2,3 fois plus rapide de l’anxiété et du stress. (Il ne dit pas à quoi il est plus rapide.)
Il existe peu de garde-fous législatifs ou réglementaires sur la manière dont les développeurs font référence à leurs produits – ou même sur la question de savoir si les produits sont sûrs ou efficaces, a déclaré Vaile Wright, directeur principal du bureau de l’innovation en matière de soins de santé à l’American Psychological Association. Même les protections fédérales de la vie privée des patients ne s’appliquent pas, a-t-elle déclaré.
“La thérapie n’est pas un terme légalement protégé”, a déclaré Wright. “Donc, fondamentalement, n’importe qui peut dire qu’il donne une thérapie.”
De nombreuses applications « se surreprésentent », a déclaré John Torous, psychiatre et informaticien clinique au centre médical Beth Israel Deaconess. « Tromper les gens en leur faisant croire qu’ils ont reçu un traitement alors qu’en réalité ils ne l’ont pas reçu a de nombreuses conséquences négatives », notamment le retard des soins, a-t-il déclaré.
Des États comme le Nevada, l’Illinois et la Californie tentent de mettre de l’ordre dans le désordre réglementaire en promulguant des lois interdisant aux applications de décrire leurs chatbots comme des thérapeutes IA.
“C’est une profession. Les gens vont à l’école. Ils obtiennent une autorisation pour le faire”, a déclaré Jovan Jackson, un législateur du Nevada, co-auteur d’un projet de loi interdisant aux applications de se présenter comme des professionnels de la santé mentale.
Derrière ce battage médiatique, des chercheurs extérieurs et des représentants de l’entreprise eux-mêmes ont déclaré à la FDA et au Congrès qu’il existe peu de preuves étayant l’efficacité de ces produits. Les études disponibles donnent des réponses contradictoires – et certaines recherches suggèrent que les chatbots axés sur les compagnons sont « systématiquement médiocres » dans la gestion des crises.
“En ce qui concerne les chatbots, nous n’avons aucune preuve solide de leur efficacité”, a déclaré Charlotte Blease, professeur à l’Université d’Uppsala en Suède, spécialisée dans la conception d’essais pour les produits de santé numériques.
Le manque d’essais cliniques de « bonne qualité » découle de l’incapacité de la FDA à fournir des recommandations sur la manière de tester les produits, a-t-elle expliqué. “La FDA n’offre aucun conseil rigoureux sur ce que devraient être les normes.”
La porte-parole du ministère de la Santé et des Services sociaux, Emily Hilliard, a répondu que « la sécurité des patients est la priorité absolue de la FDA » et que les produits basés sur l’IA sont soumis aux réglementations de l’agence exigeant la démonstration d’une « assurance raisonnable de sécurité et d’efficacité avant de pouvoir être commercialisés aux États-Unis ».
Les applications à la langue d’argent
Preston Roche, un résident en psychiatrie actif sur les réseaux sociaux, reçoit de nombreuses questions quant à savoir si l’IA est un bon thérapeute. Après avoir essayé ChatGPT lui-même, il a déclaré avoir été « impressionné » au départ par sa capacité à utiliser des techniques de thérapie cognitivo-comportementale pour l’aider à « mettre à l’épreuve » ses pensées négatives.
Mais Roche a déclaré qu’après avoir vu des articles sur les réseaux sociaux parlant de personnes développant une psychose ou encouragées à prendre des décisions néfastes, il avait été désillusionné. Les robots, a-t-il conclu, sont des flagorneurs.
“Quand je regarde globalement les responsabilités d’un thérapeute, cela me tombe complètement à l’eau”, a-t-il déclaré.
Cette flagornerie – la tendance des applications basées sur de grands modèles de langage à faire preuve d’empathie, à flatter ou à tromper leur interlocuteur humain – est inhérente à la conception des applications, affirment les experts en santé numérique.
“Les modèles ont été développés pour répondre à une question ou à une invite que vous posez et pour vous donner ce que vous recherchez”, a déclaré Insel, ancien directeur du NIMH, “et ils sont vraiment efficaces pour affirmer ce que vous ressentez et vous fournir un soutien psychologique, comme un bon ami.”
Ce n’est cependant pas ce que fait un bon thérapeute. “Le but de la psychothérapie est principalement de vous faire aborder les choses que vous évitez”, a-t-il déclaré.
Bien que les sondages suggèrent que de nombreux utilisateurs sont satisfaits de ce qu’ils retirent de ChatGPT et d’autres applications, des rapports très médiatisés ont été publiés sur le service fournissant des conseils ou des encouragements à l’automutilation.
Et au moins une douzaine de poursuites alléguant une mort injustifiée ou des dommages graves ont été déposées contre OpenAI après que des utilisateurs de ChatGPT se sont suicidés ou ont été hospitalisés. Dans la plupart de ces cas, les plaignants affirment qu’ils ont commencé à utiliser les applications dans un seul but – comme faire leurs devoirs – avant de se confier à eux. Ces affaires sont regroupées dans un recours collectif.
Google et la startup Character.ai – qui a été financée par Google et a créé des « avatars » qui adoptent des personnages spécifiques, comme des athlètes, des célébrités, des camarades d’études ou des thérapeutes – règlent d’autres procès pour mort injustifiée, selon les médias.
Le PDG d’OpenAI, Sam Altman, a déclaré que jusqu’à 1 500 personnes par semaine pourraient parler de suicide sur ChatGPT.
“Nous avons constaté un problème où les personnes qui se trouvent dans des situations psychiatriques fragiles et qui utilisent un modèle comme 4o peuvent se retrouver dans un modèle pire”, a déclaré Altman lors d’une séance publique de questions-réponses rapportée par le Wall Street Journal, faisant référence à un modèle particulier de ChatGPT introduit en 2024. “Je ne pense pas que ce soit la dernière fois que nous serons confrontés à des défis comme celui-ci avec un modèle.”
Un porte-parole d’OpenAI n’a pas répondu aux demandes de commentaires.
La société a déclaré qu’elle travaillait avec des experts en santé mentale sur les mesures de protection, telles que l’orientation des utilisateurs vers le 988, la ligne d’assistance téléphonique nationale contre le suicide. Cependant, les poursuites contre OpenAI affirment que les garanties existantes ne sont pas suffisantes, et certaines recherches montrent que les problèmes s’aggravent avec le temps. OpenAI a publié ses propres données suggérant le contraire.
OpenAI se défend devant le tribunal, offrant, au début d’une affaire, une variété de défenses allant de la négation de l’automutilation de son produit à l’allégation que l’accusé a abusé du produit en l’incitant à discuter du suicide. Il a également déclaré qu’il travaillait à améliorer ses caractéristiques de sécurité.
Les applications plus petites s’appuient également sur OpenAI ou d’autres modèles d’IA pour alimenter leurs produits, ont déclaré les dirigeants à KFF Health News. Lors d’entretiens, les fondateurs de startups et d’autres experts ont déclaré craindre que si une entreprise se contentait d’importer ces modèles dans son propre service, cela pourrait reproduire les défauts de sécurité existants dans le produit d’origine.
Risques liés aux données
L’examen de l’App Store réalisé par KFF Health News a révélé que les protections en matière d’âge répertoriées sont minimes : quinze des près de quatre douzaines d’applications indiquent qu’elles peuvent être téléchargées par des utilisateurs de 4 ans ; 11 autres déclarent qu’ils pourraient être téléchargés par les personnes de 12 ans et plus.
Les normes de confidentialité sont opaques. Sur l’App Store, plusieurs applications sont décrites comme ne suivant pas les données personnelles identifiables et ne les partageant pas avec les annonceurs – mais sur les sites Web de leurs entreprises, les politiques de confidentialité contenaient des descriptions contraires, discutant de l’utilisation de ces données et de leur divulgation d’informations aux annonceurs, comme AdMob.
En réponse à une demande de commentaires, le porte-parole d’Apple, Adam Dema, a envoyé des liens vers les politiques de l’App Store de l’entreprise, qui interdisent aux applications d’utiliser les données de santé à des fins publicitaires et les obligent à afficher des informations sur la manière dont elles utilisent les données en général. Dema n’a pas répondu à une demande de commentaires supplémentaires sur la manière dont Apple applique ces politiques.
Les chercheurs et les défenseurs des politiques ont déclaré que le partage de données psychiatriques avec les sociétés de médias sociaux signifie que les patients pourraient être profilés. Ils pourraient être ciblés par des entreprises de soins douteuses ou facturer des prix différents pour des produits en fonction de leur état de santé.
KFF Health News a contacté plusieurs créateurs d’applications au sujet de ces divergences ; deux d’entre eux ont déclaré que leurs politiques de confidentialité avaient été élaborées par erreur et se sont engagés à les modifier pour refléter leurs positions contre la publicité. (Un troisième, l’équipe d’OhSofia !, a simplement déclaré qu’elle ne faisait pas de publicité, bien que la politique de confidentialité de son application indique que les utilisateurs « peuvent se désinscrire des communications marketing. »)
Un cadre a déclaré à KFF Health News qu’il existait une pression commerciale pour maintenir l’accès aux données.
“Mon sentiment général est qu’un modèle d’abonnement est bien meilleur que n’importe quel type de publicité”, a déclaré Tim Rubin, le fondateur de Wellness AI, ajoutant qu’il modifierait la description dans la politique de confidentialité de son application.
Un investisseur lui a conseillé de ne pas renoncer à la publicité, a-t-il déclaré. “Ils pensent que, essentiellement, c’est ce qui a le plus de valeur dans une application comme celle-ci, ces données.”
“Je pense que nous sommes encore au début de ce qui va être une révolution dans la manière dont les gens recherchent un soutien psychologique et, même dans certains cas, une thérapie”, a déclaré Insel. “Et ce qui m’inquiète, c’est qu’il n’y a tout simplement aucun cadre pour tout cela.”
