” Les applications de bien-être qui favorisent l’attachement émotionnel à l’aide de l’IA devraient être tenues de démontrer qu’elles ont mis en place des mécanismes pour éviter les préjudices découlant de ces attachements émotionnels (par exemple, pour gérer les cas extrêmes) et un protocole pour minimiser les préjudices en cas de fermeture de l’application (par exemple, en fournissant aux utilisateurs des ressources en santé mentale et en maintenant les communautés de leur marque opérationnelles pendant une période déterminée après la fermeture de l’application). En outre, elles devraient être tenus de confirmer qu’elles n’emploient pas de techniques de manipulation émotionnelle telles que la culpabilisation des utilisateurs qui ignorent l’application ou veulent la supprimer” estiment les auteurs de l’article “Unregulated emotional risks of AI wellness apps” https://www.nature.com/articles/s42256-025-01051-5.epdf?.

L’attachement émotionnel aux AI companions induit des vulnérabilités et peut avoir des conséquences sur la santé mentale des utilisateurs.  Soutiens psychologiques pour atténuer un sentiment de solitude ou bien compagnons ludiques, ces applications visent-elles le bien être émotionnel de leurs utilisateurs ou bien leur manipulation ? Un examen attentif de ce problème se justifie par l’ampleur des pratiques :

• xiaoice.com : 660 millions d’utilisateurs à travers le monde depuis son lancement en 2014,
• character.ai.comn: 20 millions d’utilisateurs,
• chai-research.com :  4 millions d’utilisateurs actifs
• replika.com :  2,5 millions d’utilisateurs actifs

Des applications de bien-être ou des applications qui manipulent ?

Le recours à ces applications favorise des attachements émotionnels extrêmes et des dépendances proches des relations humaines, posant des risques tels que la perte ambiguë et la dépendance dysfonctionnelle.  Les auteurs suggèrent en conséquence une application rigoureuse de l’IA Act européen (1), une interpétation de ces dispositifs, non pas comme des applications de bien-être, tels qu’ils sont souvent présentées par les fabricants, mais bien dans la perspective de possibilités de manipulations. 

1 – IA act, article 5 (applicable le 2 aout 2026) :

“Les pratiques suivantes de l’IA sont interdites, des exigences spécifiques applicables aux systèmes d’IA à haut risque ;

(a) la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui déploie des techniques subliminales au-delà de la conscience d’une personne ou des techniques délibérément manipulatrices ou trompeuses, ayant pour objectif ou pour effet de fausser sensiblement le comportement d’une personne ou d’un groupe de personnes en altérant de manière appréciable leur capacité à prendre une décision en connaissance de cause, les amenant ainsi à prendre une décision qu’elles n’auraient pas prise autrement, d’une manière qui cause ou est raisonnablement susceptible de causer à cette personne, à une autre personne ou à un groupe de personnes, un préjudice important ; 

(b) la mise sur le marché, la mise en service ou l’utilisation d’un système d’IA qui exploite les vulnérabilités d’une personne physique ou d’un groupe spécifique de personnes en raison de leur âge, d’un handicap ou d’une situation sociale ou économique particulière, avec pour objectif ou pour effet d’altérer de manière significative le comportement de cette personne ou d’une personne appartenant à ce groupe d’une manière qui cause ou est raisonnablement susceptible de causer à cette personne ou à une autre personne un préjudice important”