"GPT-3" : un modèle d'intelligence artificielle prêt à l'emploi, capable d'écrire des livres, mais dépourvu de morale

Articles, romans, dialogues et même code informatique : la nouvelle intelligence artificielle mise au point par une start-up cofondée par le milliardaire futuriste Elon Musk sait générer des textes cohérents, mais le système n'a toujours pas appris à raisonner et reste étranger à la morale.

L'utilisateur commence une phrase, la machine la termine

Comparé à une intelligence artificielle classique, le "modèle" baptisé GPT-3 de la société californienne OpenAI est simple : l'utilisateur commence une phrase, la machine la termine. L'outil, dont l'acronyme signifie Transformateur Génératif Pré-entraîné, peut par exemple inventer la suite d'un dialogue entre deux personnages, continuer une série de questions-réponses ou poursuivre un poème dans le style de Shakespeare.

"Il est capable de générer des phrases très naturelles et vraisemblables. C'est impressionnant de voir à quel point le modèle est capable de s'approprier le style littéraire, même s'il y a des répétitions", s'enthousiasme Bruce Delattre, spécialiste de l'intelligence artificielle (IA) au sein du cabinet Artefact, interrogé par l'AFP.

Poussé dans ses retranchements, GPT-3 sait trouver des réponses précises (le nom d'une maladie à partir d'une description des symptômes), donner la solution de certains problèmes mathématiques, s'exprimer dans plusieurs langues, ou générer le code adéquat pour afficher "un bouton qui ressemble à une pastèque" : une tâche triviale mais dont les développeurs se passeraient volontiers. "Ça fonctionne grâce à des régularités statistiques", démystifie Bruce Delattre. "Le modèle sait que tel mot (ou expression) a plus ou moins de chances de suivre tel autre".

La nouveauté réside dans la taille du modèle

La technologie mise en oeuvre n'est d'ailleurs "pas tellement une nouveauté", indique à l'AFP Amine Benhenni, expert IA chez Dataswati. "La recherche sur les apprentissages de séquences se développe depuis deux ans. La grosse différence, c'est la taille du modèle". GPT-3 a en effet été nourri du contenu de milliards de pages web accessibles librement en ligne et d'innombrables ouvrages en tout genre. L'intégralité de l'encyclopédie participative Wikipédia ne représente au final que 3% du contenu total de son apprentissage.

Avec 175 milliards de paramètres, il peut désormais être utilisé tel quel, alors que les modèles précédents nécessitaient toujours un "ré-entraînement" sur des tâches spécifiques. GPT-3 "est incroyablement puissant si vous savez comment bien l'amorcer", a témoigné sur Twitter Shreya Shankar, une ingénieure et chercheuse spécialisée sur l'IA, après l'avoir utilisé. "Cela va changer le paradigme de l'apprentissage machine : au lieu de construire des immenses jeux de données pour ré-entraîner les modèles, il sera possible d'extrapoler à partir de quelques exemples", a-t-elle poursuivi.

Problème : l'algorithme manipule sans recul tous les stéréotypes

Malgré cet engouement, GPT-3 ne s'est hissé qu'à la 10e place du classement SuperGLUE qui évalue la compréhension du langage des algorithmes. Des utilisateurs ont montré que, confronté à des questions loufoques, le modèle renvoyait des réponses insensées, sortes d'hallucinations artificielles. Par exemple : "Combien d'yeux le soleil a-t-il ? Réponse : Le soleil a un oeil." "Il manque au système tout ce qui relève de la pragmatique", analyse pour l'AFP Claude de Loupy, fondateur de Syllabs, une start-up française spécialisée dans l'écriture automatique de textes.

Autre problème de taille : l'algorithme manipule sans recul tous les stéréotypes et discours de haine acquis durant son apprentissage et peut rapidement se révéler raciste, antisémite ou sexiste. Les experts interrogés jugent ainsi que GPT-3 n'est pas assez fiable pour la grande majorité des applications industrielles.

Il peut en revanche se révéler efficace, comme d'autres modèles similaires, pour personnaliser des publicités, rédiger de faux avis sur les sites de e-commerce, ou... produire massivement des articles pour une campagne de désinformation. 

Accès commercial

En raison de craintes sur des "utilisations malveillantes", l'association à but non lucratif OpenAI (cofondée en 2015 par l'entrepreneur Elon Musk qui l'a depuis quittée, et financée notamment par Microsoft) avait initialement choisi en février 2019 de ne pas publier la version précédente du modèle. Transformée depuis en "société à but lucratif plafonné", l'entreprise a pris la direction inverse en juin et a ouvert un accès commercial.

Cette ouverture contrôlée "lui permet de voir émerger des idées dans le monde entier et augmente ses chances de trouver des applications rentables", remarque Claude de Loupy. Une démarche qui pourrait rapporter gros à moyen terme, car selon ce spécialiste, il n'y a "aucun doute que la quantité de texte généré par IA s'apprête à exploser sur le web".