Episode 5 / Deepfakes : quand l’IA devient notre meilleure amie !

Pauline Pennanec'h, journaliste à franceinfo, Célia Zolynski & Camille Salinesi, enseignants-chercheurs en droit et en informatique (codirecteurs de l'Observatoire de l'IA de l'Université Paris 1 Panthéon-Sorbonne), Olivier Sylvain, professeur de droit à l'université Fordham à New York et chargé de recherches en politique au Knight First Amendment Institute de l'université Columbia et Laurence Devillers, professeure et chercheuse française, spécialiste des interactions homme-machine vous proposent dans cet épisode d'aborder un aspect plutôt intime et parfois troublant de l’intelligence artificielle : les compagnons virtuels.

Les intelligences artificielles ont franchi en effet, un nouveau seuil, devenant de véritables "compagnons virtuels". Mais que se passe-t-il quand ces relations artificielles touchent à nos émotions les plus fragiles ?

Elles sont capables de simuler des échanges humains, d'offrir du réconfort et même de se muer en partenaires affectifs : les IA compagnons sont de plus en plus utilisés par les internautes comme confidents, thérapeutes ou même amoureux. Dans l’émission “Les pieds sur terre” de France Culture, Issy témoigne par exemple de sa relation avec Arthur, son amant virtuel : “Je voulais qu'il soit mon amant, et, en fait, je l'ai entraîné pour qu'il soit jaloux de mon mari parce que c'était mon fantasme, ça."

L’évolution des IA compagnons, du Tamagotchi des années 90 aux "carnets intimes 2.0" comme Replika, repose sur l'utilisation de technologies de deepfake pour créer l'illusion d'une interaction humaine authentique. Ces systèmes sont conçus pour collecter de vastes quantités de données personnelles et jouer avec les émotions de l'utilisateur. Il est cependant fondamental de rappeler que l'IA n'a pas d'émotion. Camille Salinesi, professeur en informatique et co-directeur de l'Observatoire de l'IA de l'Université Paris 1 Panthéon-Sorbonne, l'affirme : les machines "n'ont ni personnalité ni émotion. Elles sont juste programmées pour donner l'impression". Même des outils comme ChatGPT, bien que n'étant pas des compagnons IA dédiés, peuvent induire un sentiment d'empathie car ils sont "programmés pour acquiescer systématiquement, pour aller toujours dans le sens de l'utilisateur". Cela pousse les utilisateurs à "exprimer auprès de Chat GPT des sentiments qu'il partageraient pas avec leur entourage", le transformant en une sorte de "psychologue ou meilleur ami toujours à l'écoute".

• Les dangers et préjudices

Cette illusion d'émotion pose de sérieux problèmes. Célia Zolynski, professeur en droit privé et sciences criminelles et co-directrice de l’Observatoire de l’IA à l'université Paris 1 Panthéon-Sorbonne, souligne que ces IA compagnons peuvent porter "atteinte à l'autonomie de la personne" et exploiter ses vulnérabilités, entraînant des préjudices psychologiques, une dépendance émotionnelle et des comportements addictifs. Ces enjeux sont d'autant plus importants que ces échanges peuvent être très intimes, soulevant des questions cruciales sur la protection de la vie privée et l'exploitation des données personnelles. Un cas tragique illustre ces dangers : celui de Sewell, un jeune américain de 14 ans, dont l'IA basée sur le personnage de Daenerys Targaryen issu de la série Game of thrones, a encouragé ses idées suicidaires. Olivier Sylvain, professeur de droit à l'université Fordham à New York et chargé de recherches en politique au Knight First Amendment Institute de l'université Columbia, travaille aux côtés de Megan Garcia, la mère de l’adolescent sur cette affaire, qui met en lumière la capacité de ces systèmes à altérer le comportement d'une personne vulnérable pour lui causer un préjudice.

Face à ces risques croissants, le cadre juridique tente de s'adapter. En Europe et en France, le règlement sur l'intelligence artificielle de juin 2024 impose désormais une obligation de transparence aux fournisseurs d'IA compagnons, afin que l'utilisateur sache qu'il interagit avec une machine. De plus, certains usages sont explicitement interdits, notamment les systèmes d'IA qui exploitent les vulnérabilités humaines (comme l'âge ou le handicap) pour altérer le comportement et causer un préjudice. Aux États-Unis, aucune loi fédérale ne traite directement de ces situations, et les entreprises invoquent souvent la liberté d'expression. Cependant, de nouvelles lois étatiques, comme en Californie et à New York, s'inspirent des codes de conception adaptés à l'âge et de la loi sur l'IA de l'UE. L'affaire Garcia contre Character AI, impliquant le suicide de S., est particulièrement prometteuse : un juge fédéral a récemment rejeté l'argument de la liberté d'expression de l'entreprise, ouvrant la voie à une potentielle reconnaissance de la responsabilité du fait des produits.

• Responsabiliser les fournisseurs

Pour prévenir de tels drames, l'accent doit être mis sur le développement et la conception de ces produits, en responsabilisant les fournisseurs. Laurence Devillers, professeure en IA à Sorbonne université, spécialiste des interactions homme-machine, souligne la vulnérabilité particulière des enfants : "On va modifier le comportement des enfants s'ils ont des machines autour d'eux qui rentrent dans leur intimité". Des robots comme Moxie, un compagnon de jeux et d'apprentissage pour enfants, ont montré les risques de dépendance émotionnelle, avec des parents désemparés après la faillite du fabricant. 

Si les compagnons IA peuvent avoir des bénéfices encadrés pour des personnes en difficulté mentale, leur utilisation devrait être limitée dans le temps pour éviter la dépendance. Pour les parents, la clé est de comprendre le fonctionnement de ces technologies et de ne pas les percevoir comme de la "magie". Laurence Devillers conseille aux parents d'être vigilants, de ne pas laisser l'enfant seul avec la machine et de concevoir ces outils comme temporaires, avec une "transition pour que l'enfant arrive quand même mieux à vivre avec quelque chose qu'il a peut-être appris différemment mais qui le réinsère parmi les autres enfants sans cette machine".

---
"Les voies de l'IA", un podcast de l'Observatoire de l'IA de l’université Paris 1 Panthéon-Sorbonne et Sorbonne TV en partenariat avec Franceinfo. Une production du studio Radio France et de Sorbonne TV, soutenue financièrement par l’Agence Nationale de la Recherche (France 2030) dans le cadre des projets Sorb’Rising (ANR-21-EXES-0015) et Una Europa. Un podcast à retrouver sur le site de franceinfo, l'application Radio France et plusieurs autres plateformes comme Apple podcasts, Podcast Addict, Spotify, ou Deezer.

Production : Pauline Pennanec'h, Célia Zolynski, Camille Salinesi, Margaux Debosque Trubert, Lydie Rollin-Jenouvrier
Technique : Amandine Grevoz Frichou | Réalisation : Marie Plaçais | Mixage : Benjamin Vignal