Dans une étude fascinante, des scientifiques du Massachusetts Institute of Technology (MIT) ont créé ce qui est surnommé le premier “psychopathe de l’IA”, Norman.
Nommé d’après le personnage central de Hitchcock Psycho, Norman Bates, l’IA a été formée pour effectuer le sous-titrage d’images, une méthode d’apprentissage en profondeur de routine. Cependant, il y avait une tournure importante – Norman a été formé en utilisant uniquement les légendes d’images horribles de mort et de violence d’un subreddit notoire.
À LIRE SUIVANT : Robots sexuels : la fin de l’empathie et de l’amour ou une force pour le bien ?
Le résultat a été que lorsqu’on a demandé à Norman d’identifier les taches d’encre de Rorschach – les images utilisées par les psychiatres pour identifier les troubles de la personnalité chez les patients – il a fourni des légendes telles que “l’homme est entraîné dans une machine à pâte” et “l’homme tué par un excès de vitesse”, où l’IA régulière vu des images d’un petit oiseau et un gros plan d’un gâteau de mariage.
Il peut sembler évident que Norman ne pouvait offrir que des interprétations horribles d’images alors que c’était tout ce que l’IA avait appris, mais l’étude sert à montrer exactement cela – que le comportement d’un algorithme peut être considérablement influencé par les données utilisées pour l’enseigner.
“Ainsi, lorsque les gens disent que les algorithmes d’IA sont biaisés et injustes, le coupable n’est souvent pas l’algorithme lui-même, mais les données biaisées qui lui ont été transmises”, explique le site du projet. “La même méthode peut voir des choses très différentes dans une image, même des choses malades, si elle est formée sur le mauvais (ou le bon !) ensemble de données.”
C’est une idée convaincante qu’un algorithme ne soit aussi bon que les personnes et même les données qui l’ont enseigné, aussi subtiles que puissent paraître les failles. Le logiciel de sous-titrage d’images de Google a été critiqué en 2015 lorsque l’application Photos de l’entreprise a classé le programmeur informatique Jacky Alciné et son ami comme des “gorilles”. La société a défendu son algorithme, affirmant qu’il n’était pas raciste, et a révélé à un moment donné qu’elle avait un “problème avec des personnes (de toutes races) étant étiquetées comme des chiens”.
L’IA de Facebook a également reçu sa juste part de critiques après qu’un ancien employé a admis que sa section “Tendances” (qui devrait refléter directement les sujets populaires sur le site) avait appris à supprimer le contenu conservateur. En conséquence, cette section Tendance est abandonnée au profit d’une méthode plus transparente de reportage d’actualités sur le réseau social.
Vous pouvez voir comment l’IA psychopathe a interprété différentes taches d’encre sur le site du projet et il existe également une option pour “aider Norman à se réparer” en remplissant un sondage qui vous demande de décrire ce que vous voyez dans les images.
Crédit image : norman-ai.mit.edu