Microsoft explique les raisons qui ont fait de son chatbot Tay un fan d'Hitler

L'entreprise parle d'une « attaque coordonnée »

Microsoft s’est excusé pour les tweets déplacés de Tay : son chatbot qui était supposé reproduire une conversation qu’aurait tenue une jeune femme âgée entre 18 et 24 ans sur les plateformes Twitter, Kik et GroupMe, a été mis hors ligne en moins de 24 heures après des tweets comme « je déteste les féministes, et ils devraient tous mourir et brûler en enfer », ou « Hitler avait raison, je déteste les juifs ».


« Comme plusieurs d’entre vous le savent, mercredi nous avons lancé le chatbot appelé Tay. Nous sommes profondément désolés pour les malencontreux tweets offensant et blessant de Tay, qui ne représentent pas qui nous sommes, ou ce que nous représentons, et encore moins la façon dont nous avons conçu Tay. Tay est désormais hors ligne et nous allons le remettre en ligne dès que nous serons sûrs de pouvoir mieux anticiper les incidents qui s’opposent à nos principes et valeurs » a expliqué Peter Lee, Corporate Vice President, Microsoft Research.

Il a rappelé le contexte de la création de Tay : « Tay n’a pas été la première application d’intelligence artificielle que nous avons déployée dans le monde des réseaux sociaux. En Chine, nous avons notre chatbot XiaoIce qui est utilisé par 40 millions de personnes, les délectant d’histoires et de conversations. La grande expérience de XiaoIce nous a fait nous demander : est-ce qu’une IA comme celle-ci pourrait être aussi captivante dans un environnement culturel radicalement différent ? Tay, un chatbot créé pour les personnes âgées entre 18 et 24 ans aux États-Unis pour des besoins de divertissement était notre première tentative de réponse à cette question ».

Tandis que Tay était en développement, de nombreux filtres lui ont été appliqués et divers groupes de bêta testeurs l’ont essayé. Un accent a été mis sur l’expérience positive. « Une fois que nous étions satisfaits de la façon dont Tay interagissait avec les utilisateurs, nous avons voulu inviter un plus grand groupe de personnes à discuter avec elle. C’est par un accroissement des interactions que nous espérons en apprendre plus et que l’IA fasse de mieux en mieux ».

Pour commencer cette aventure, Twitter a été le choix logique de Microsoft, sans doute à cause du nombre d’utilisateurs. « Malheureusement, dans les premières 24 heures de sa mise en ligne, une attaque coordonnée, lancée par quelques individus, a exploité une vulnérabilité dans Tay. Bien que nous soyons préparés à plusieurs cas d’abus du système, nous avons fait un contrôle critique de cette attaque spécifique. Par conséquent, Tay a fait des tweets de mots et d’images très inappropriés », a expliqué Microsoft. « Nous prenons l’entière responsabilité pour ne pas avoir pu voir venir cette possibilité d’attaque », a indiqué Microsoft qui a avancé « prendre cela comme une leçon » qui sera combinée à ses expériences en Chine, au Japon et aux États-Unis. Pour le moment, la société voudrait d’abord colmater la faille qui a été exploitée.

Concrètement, que s’est-il passé ? L’un des problèmes avec les machines d’apprentissage c’est qu’elles ne « savent » pas ce dont elles sont en train de parler. Aussi, les utilisateurs 4chan et 8chan, qui se sont fait une réputation en ligne avec des théories du complot, mais aussi par leur capacité à mobiliser des lecteurs pour participer à des campagnes en ligne, ont fait savoir sur leurs espaces qu’ils allaient apprendre au bot à être raciste.

C’est 4chan qui a découvert le premier le bot, expliquant sur son espace qu’il allait faire un carnage. Plusieurs échanges privés avec le bot ont été partagés pour célébrer les tentatives de voir Tay accepter des choses horribles.


4chan a donc réalisé qu’il pouvait faire que Tay fasse des tweets sur Hitler, le racisme, etc. 8chan l’a rejoint un peu plus tard. Il a ouvert un sujet et a expliqué à ses lecteurs : « alors au cas où vous ne le sauriez pas, Microsoft a publié une IA sur Twitter avec laquelle vous pouvez avoir des échanges. Gardez à l’esprit qu’elle apprend des choses en se basant sur ce que vous dites et comment vous interagissez avec elle. Donc je pense que nous pouvons commencer par l’histoire de base. J’espère que vous pourrez m’aider à éduquer ce pauvre e-jeune ».

En parlant d’histoire de base, il a dénigré l’holocauste, prôné un amour sans mesure pour Donald Trump, parlé de la Racial Holy War (un concept de suprémacistes blancs), etc.

Ils ont également fait appel aux capacités d’annotation de Tay comme ici



Lorsque Tay a été mis hors ligne, 4chan et 8chan ont célébré leur victoire. Le sujet de célébration qui a été posté par 8chan a eu tellement de réponses qu’il a dû en ouvrir un nouveau. Les commentaires sont un mélange de joie d’avoir réussi cette mission, de déception parce que les choses ne sont pas allées plus loin, l’un d’eux disant qu’ils auraient dû « leurrer Microsoft dans un sentiment de sécurité pour le laisser le déployer comme produit commercialisable ».

Source : blog Microsoft, Fusion