Tay, l’intelligence artificielle qui déraille à cause de la bêtise humaine
Une "expérience sociale"
Tay est un "agent conversationnel", c'est-à-dire un robot-logiciel censé dialoguer avec les humains, notamment les ados. Il s’agit, selon Microsoft d’une « expérience sociale et culturelle ». Malheureusement, dès sa première journée dans le grand bain des réseaux sociaux, des internautes ont compris qu’ils pouvaient s’amuser avec cela. Des « trolls » l’ont alors inondée de blagues sexistes ou racistes (ex : «le féminisme est un cancer », «Hitler avait raison », etc.). Au bout de quelques heures, Tay s’est mise à tenir elle-même des propos infâmes.
Pourquoi a-t-elle déraillé ?
Il faut comprendre comment fonctionne un tel logiciel. Tay détecte des mots-clés mais ne « comprend » pas à proprement parler ce qu’on lui dit. Pour tenir une conversation, elle dispose de réponses toutes faites (Ex : « le terrorisme sous toutes ses formes est déplorable ») et elle acquiert aussi, au fur et à mesure, du vocabulaire et des éléments de langage supplémentaires en se basant sur ce qu’on lui dit ainsi que sur des données publiques. Elle répond ensuite en utilisant ces éléments appris.
Comme un bébé
Tay ne « pense » pas au sens ou nous l’entendons nous-mêmes. Elle n’a qu’une culture très limitée et aucune conscience. Elle est comme un tout petit enfant auquel on peut faire dire n’importe quoi. Elle a en quelque sorte été confrontée à la « méchanceté » humaine qui l’a manipulée. Certes, on se dit que Tay aurait pu être programmée avec des mots interdits, une sorte de black-list, afin d’éviter les dérapages. Mais alors l’expérience aurait été beaucoup moins intéressante.
Débranchée le temps de faire des réglages
La développeuse Zoé Quinn, prise pour cible par Tay, en tire une conclusion intéressante
It's 2016. If you're not asking yourself "how could this be used to hurt someone" in your design/engineering process, you've failed.
— Zoë Quinn (@UnburntWitch) March 24, 2016(Nouvelle fenêtre)
en estimant qu’il « faut intégrer dès la conception d’un logiciel le fait qu’il puisse être utilisé pour faire du mal à quelqu’un et empêcher cela ». Quant à Tay, elle a été débranchée par Microsoft, hier soir, le temps de procéder à quelques « ajustements ». Dans son dernier tweet, elle confiait : « trop de conversations… besoin de dormir… » (96 000 tweets en une journée). Tay, l’intelligence artificielle, s’est frotté à la bêtise bien réelle des hommes.
Mise à jour : selon LeMonde.fr, Tay a été victime d'une opération organisée(Nouvelle fenêtre).
Commentaires
Connectez-vous à votre compte franceinfo pour participer à la conversation.