Les deepfakes, créations numériques hyperréalistes par l'IA, représentent une nouvelle forme de violence en ligne, en particulier ceux à caractère pornographique. Facilitant le chantage, le harcèlement, les campagnes de diffamation sur des personnalités publiques ou encore la diffusion de vidéos à caractère sexuel sans consentement, ils incarnent des défis majeurs en matière de protection des victimes et de régulation de l'intelligence artificielle générative.

Pour ce premier épisode de la série "Les Voies de l’IA", Pauline Pennanec'h (Journaliste à Franceinfo), Célia Zolynski (Co-directrice de l’Observatoire de l’IA et Professeure de droit à l’Université Paris 1), Camille Salinesi (Co-directeur de l’Observatoire de l’IA et Professeur d’informatique à l'Université Paris 1) et Véronique Béchu (Cheffe du pôle stratégie de l’OFMIN et autrice du livre Derrière l’écran chez Stock) décryptent les risques liés aux deepfakes. Ils présentent les dispositifs de protection existants et les nouveaux leviers à mobiliser pour renforcer la prévention et la protection des victimes.

Les deepfakes, ou hypertrucages, sont des contenus (images, vidéos, sons) modifiés artificiellement grâce à l'intelligence artificielle (IA), et sont de plus en plus réalistes et convaincants. Ces manipulations, issues de la contraction de "deep learning" (apprentissage profond) et "fake" (faux), permettent de faire dire ou faire faire n'importe quoi à une personne. L'utilisation de ces techniques s'étend du doublage de films au remplacement de visages dans des vidéos ou images, explique Camille Salinesi, co-responsable de l'Observatoire de l'IA. Les premiers deepfakes datent de 2017 et ont notamment touché des célébrités comme Gal Gadot et Daisy Ridley. Une jeune femme, Julia, témoigne avoir vu des photos d'elle, issue de shootings professionnels et privés, modifiées pour la montrer nue. "Il m'a fallu une fraction de seconde pour me dire 'Ah, en fait, c'est des photos qu'il a piqué de mes shootings et qu'il a modifié pour me faire apparaître tout nue'".

En 2023, la production de deepfakes a connu une explosion, avec une augmentation de 550% depuis 2019. Près de 96% de ces contenus sont des deepfakes pornographiques, dont 99% concernent des femmes et des jeunes filles. Ces contenus sont devenus une arme de violence numérique. Célia Zolynski, professeure en droit privé et sciences criminelles, souligne que la démocratisation des outils d'IA générative rend la création de deepfakes très facile, augmentant les risques pour les femmes et les jeunes filles. "Un hypertrucage mettant en scène son intimité peut créer un sentiment d'impuissance, de perte de contrôle sur son image, de dépossession de soi". Des campagnes de déstabilisation utilisant des deepfakes visent également des femmes politiques et journalistes. Ces montages peuvent être utilisés pour de la sextorsion, notamment envers les jeunes filles, pour obtenir des images intimes.

La sextorsion, une menace en expansion

La sextorsion, un chantage effectué sur des mineurs, se base sur l'obtention de contenus à caractère sexuel ou d'argent. Véronique Béchu, commandante de police, cheffe du pôle stratégie de l’Office mineurs (OFMIN), en explique les ressorts. Les auteurs de ces chantages peuvent être des pédocriminels, ou des individus appartenant à des réseaux de criminalité organisée, souvent basés en Afrique de l'Ouest. Les chiffres sont alarmants : en 2024, les signalements de sextorsion ont augmenté de 2,4 fois par rapport à 2023, atteignant 28 767 cas. "La plupart des signalements qui nous arrivent sont faits par Facebook, Snapchat, Instagram ou encore TikTok". L'IA facilite le passage à l'acte, car les auteurs n'ont plus besoin de la phase de "grooming" (mise en confiance).

Face à ces menaces, des initiatives ont été mises en place. Au Royaume-Uni et en Corée du Sud, la création et la diffusion de deepfakes non consensuels sont sanctionnées. En France, le règlement sur l'IA de juin 2024 impose que tous les contenus deepfakes soient marqués. Le règlement sur les services numériques (DSA) oblige les grandes plateformes à bloquer leur diffusion. La France a également renforcé son arsenal répressif, prévoyant des peines de prison et des amendes pour la diffusion de deepfakes sexuels non consentis. Cependant, Célia Zolynski estime qu'il faut aller plus loin, en incriminant la création de tels contenus et en limitant l'accès aux outils de dénudage. "Pour améliorer tout d'abord la réponse pénale, il paraît important d'incriminer non seulement la diffusion mais aussi la création d'un deepfake à caractère sexuel".

Comment se protéger et réagir ?

Pour se protéger, il est crucial d'avoir le réflexe du signalement. Il faut faire des captures d'écran ou enregistrer les vidéos, collecter des informations sur l'origine des contenus, et les signaler aux plateformes. Le numéro 3018, plateforme de signalement du cyberharcèlement, est un outil précieux. Les parents doivent accompagner leurs enfants dans la création de leurs profils en ligne, en paramétrant leurs comptes en privé et en faisant attention aux contenus envoyés. Il faut également déculpabiliser les victimes, car "le premier envoi de contenu, c'est lui qui l'effectue. Donc il se dit après tout : "J'ai risqué quelque chose, je suis puni pour ce que j'ai fait, c'est de ma faute". Samuel Comblez, directeur général adjoint de l'association e-enfance et directeur du 3018, souligne que malgré une certaine prudence des jeunes, il faut se préparer à une augmentation des cas.
 

---
"Les voies de l'IA", un podcast de l'Observatoire de l'IA de l’université Paris 1 Panthéon-Sorbonne et Sorbonne TV en partenariat avec Franceinfo. Une production du studio Radio France et de Sorbonne TV, soutenue financièrement par l’Agence Nationale de la Recherche (France 2030) dans le cadre des projets Sorb’Rising (ANR-21-EXES-0015) et Una Europa. Un podcast à retrouver sur le site de franceinfo, l'application Radio France et plusieurs autres plateformes comme Apple podcasts, Podcast Addict, Spotify, ou Deezer.

Production : Pauline Pennanec'h, Célia Zolynski, Camille Salinesi, Margaux Debosque Trubert, Lydie Rollin-Jenouvrier
Technique : Cédric Châtelus | Réalisation : Marie Plaçais | Mixage : Bruno Mourlan