Le data poisoning ou comment empoisonner une intelligence artificielle
Les écosystèmes numériques reposent sur l'intelligence artificielle. Il était logique de voir émerger les outils pour la manipuler et notamment le data poisoning
Vous êtes désormais 1025 abonnés à me lire chaque mardi soir. Un immense MERCI ! Vous pouvez lire cette newsletter également en anglais.
L’intelligence artificielle est une composante des réseaux sociaux. Les techniques de machine learning ont très tôt été utilisées pour mieux comprendre les comportements des utilisateurs (et améliorer l’expérience qu’ils ont sur les réseaux). Et bien sûr pour la publicité, afin de proposer des contenus plus personnalisés, à travers des processus de concaténation.
Une tendance de fond commence à se déployer contre les intelligences artificielles : le data poisoning (ou ‘empoisonnement des données’ en bon français).
Le data poisoning : c’est quoi ?
La CNIL livre une définition fascinante du data poisoning :
Les attaques par empoisonnement visent à modifier le comportement du système d’Intelligence Artificielle en introduisant des données corrompues en phase d’entraînement (ou d’apprentissage). Elles supposent que l’attaquant soit en mesures de soumettre des données à utiliser lors de l’entraînement du système d’IA.
CNIL
La sémantique est proche de celle du corps humain, ce qui est un signal de plus d’une fusion des mondes tangibles et numériques.
Piéger les plateformes n’est pas nouveau. À la grande époque des blogs, les activistes coordonnaient une attaque contre la réputation d’une marque en liant son nom à des URLs pointant vers des pages établissant des faits peu glorieux contre ces organisations. Les systèmes se sont bien sophistiqués depuis et ne sont pas à l’abri de diverses manipulations.
Les annonces d’OpenAI sont on ne peut claires : la firme veut garder en mémoire toutes les précédentes interactions des utilisateurs pour continuer à entraîner ses outils. Afin certes d’optimiser l’expérience avec les différents robots mais qui pose la question du contrôle de nos humanités. Si sur les serveurs sont déjà stockés des masses colossales de données, OpenAI ouvre la porte à une couche conversationnelle liée à nos mémoires les plus intimes, les plus implicites, les plus profondes, et pourrait non seulement influencer nos souvenirs mais également la manière dont ils remonteraient à la surface. L’historicité - déjà compliquée sur Internet - pourrait être en voie de privatisation par des entreprises comme OpenAI.
Hypomnema j’entends ton nom !
Christian Fauré proposait en 2007 une distinction entre réseaux sociaux explicites et réseaux sociaux implicites.
Les réseaux sociaux explicites sont “au service d’un projet personnel : retrouver des amis, faire du networking, se faire connaître, etc. Il se constitue au service d’un projet et d’un dessein. Il est là en tant que moyen d’une finalité”.
Au contraire, les réseaux sociaux implicites “se constituent sur la base de notre activité réelle (…) en cartographiant nos données et nos activités, ces réseaux sociaux (…) sont automatiquement déduits de notre activité numérique”. OpenAI chipe nos hypomnema, c’est-à-dire tous les supports de notre mémoire et se pose en péage entre l’écriture de soi et son articulation dans un collectif. Cette accaparation de cet espace entre l’implicite et l’explicite à travers cette couche conversationnelle temporelle va avoir des incidences importantes. De plus en plus d’humains croient en des pseudo-réalités. Et à mesure que nous utilisons ChatGPT & co, nous plaçons une certaine confiance dans ces outils, ce qui leur donne encore plus de poids dans la façon dont nous nous construisons et dont nous nous positionnons dans le monde. Surtout que ChatGPT agit comme “moteur de réponses” plutôt que comme moteur de recherche comme expliqué par Meta-Media.
Nightshade : la revanche des artistes
Des chercheurs de la University of Chicago ont lancé un outil nommé Nightshade. Il vise à lutter contre les entreprises d'IA qui utilisent le travail des artistes pour entraîner leurs modèles sans l'autorisation des créateurs.
En "empoisonnant" les données d'entraînement, Nightshade altère les futures itérations des modèles d'IA générant des images, tels que DALL-E, Midjourney et Stable Diffusion, en rendant certains de leurs rendus inutiles – les chiens deviennent des chats, les éléphants deviennent des scooters, etc.
“Moving forward, it is possible poison attacks may have potential value as tools to encourage model trainers and content owners to negotiate a path towards licensed procurement of training data for future models.”
Shawn Shan, Wenxin Ding, Josephine Passananti, Haitao Zheng, Ben Y. Zhao Department of Computer Science, University of Chicago
Un vrai contre-pouvoir encore balbutiant et pas toujours si vertueux s’il tombe entre les mains des mauvaises personnes. Les groupes extrêmistes ont souvent plus de temps et d’envie pour piéger les algorithmes, car leurs finalités, leurs objectifs sont clairs, a contrario du citoyen ordinaire qui n’est pas nécessairement un activiste aussi engagé.
Le hashtag de la semaine : #SlowedSong
Dans un monde qui va parfois trop vite, les communautés sur TikTok créent de plus en plus de contenus taggés #SlowedSong (des chansons qui ont été ralenties, ce qui peut donner une dimension cinématographique intéressante et envoûtante).
Les liens épatants
Sommes-nous devenus Technosexuals? La question est posée du côté du NY Times
Le Cyber Feminism Index propose des ressources passionnantes pour adresser les sujets technologiques et sociétaux à travers un prisme engagé (spotté dans l’excellente newsletter de Mathilde Saliou Technoculture)
Bonne semaine ! Et n’hésitez pas à partager cette newsletter, à liker, à commenter, ou à continuer à m’envoyer des emails : ces notifications sont une joie.