Cet article date de plus de huit ans.

Tay, l’intelligence artificielle qui déraille à cause de la bêtise humaine

Tay est un programme d’intelligence artificielle lancé hier sur Twitter par Microsoft sous la forme d’une internaute virtuelle. Problème : en quelques heures, elle s’est mise à tenir des propos racistes et sexistes. Que s’est-il passé ?
Article rédigé par Jérôme Colombain
Radio France
Publié Mis à jour
Temps de lecture : 3min
  (Le compte Twitter de l'IA Tay © Microsfot/Twitter)

Une "expérience sociale"

Tay est un "agent conversationnel", c'est-à-dire un robot-logiciel censé dialoguer avec les humains, notamment les ados. Il s’agit, selon Microsoft d’une « expérience sociale et culturelle  ». Malheureusement, dès sa première journée dans le grand bain des réseaux sociaux, des internautes ont compris qu’ils pouvaient s’amuser avec cela. Des « trolls » l’ont alors inondée de blagues sexistes ou racistes (ex : «le féminisme est un cancer », «Hitler avait raison », etc.). Au bout de quelques heures, Tay s’est mise à tenir elle-même des propos infâmes.

Pourquoi a-t-elle déraillé ?

Il faut comprendre comment fonctionne un tel logiciel. Tay détecte des mots-clés mais ne « comprend » pas à proprement parler ce qu’on lui dit. Pour tenir une conversation, elle dispose de réponses toutes faites (Ex : « le terrorisme sous toutes ses formes est déplorable ») et elle acquiert aussi, au fur et à mesure, du vocabulaire et des éléments de langage supplémentaires en se basant sur ce qu’on lui dit ainsi que sur des données publiques. Elle répond ensuite en utilisant ces éléments appris.

Comme un bébé 

Tay ne « pense » pas au sens ou nous l’entendons nous-mêmes. Elle n’a qu’une culture très limitée et aucune conscience. Elle est comme un tout petit enfant auquel on peut faire dire n’importe quoi. Elle a en quelque sorte été confrontée à la « méchanceté » humaine qui l’a manipulée. Certes, on se dit que Tay aurait pu être programmée avec des mots interdits, une sorte de black-list, afin d’éviter les dérapages. Mais alors l’expérience aurait été beaucoup moins intéressante.

Débranchée le temps de faire des réglages

La développeuse Zoé Quinn, prise pour cible par Tay, en tire une conclusion intéressante

en estimant qu’il « faut intégrer dès la conception d’un logiciel le fait qu’il puisse être utilisé pour faire du mal à quelqu’un et empêcher cela  ». Quant à Tay, elle a été débranchée par Microsoft, hier soir, le temps de procéder à quelques « ajustements ». Dans son dernier tweet, elle confiait : « trop de conversations… besoin de dormir…  » (96 000 tweets en une journée). Tay, l’intelligence artificielle, s’est frotté à la bêtise bien réelle des hommes. 

Mise à jour : selon LeMonde.fr, Tay a été victime d'une opération organisée(Nouvelle fenêtre)

Commentaires

Connectez-vous à votre compte franceinfo pour participer à la conversation.