Comment repérer les fausses études scientifiques ?

Deux chercheurs français ont trouvé un moyen de passer au peigne fin la littérature scientifique pour débusquer les études "bidons". Ces spécialistes en informatique ont créé une sorte de radar à faux papiers. Des papiers écrits automatiquement par des algorithmes et qui génèrent des phrases toutes faites qui n’ont pas beaucoup de sens comme : "Depuis la nuit des temps l’homme a écrit sur les murs de la caverne" ou encore "un mémoire de licence encore non publié dit que".

Ainsi avec leur problematic papers screener [en anglais], Cyril Labbé [en anglais], du laboratoire informatique de l’université de Grenoble et Guillaume Cabanac [en anglais], professeur en sciences de l’informatique à l’université de Toulouse viennent de débusquer 243 articles écrits par des logiciels truqueurs sur une plateforme qui en recueille près de 200 millions dans les sciences de l’informatique, des maths, de la physique mais aussi en philosophie, comme ils le détaillent dans The Journal of the Association for information science & technology [article en anglais]. Ce n'est pas la première fois qu'ils travaillent sur le sujet. Cyril Labbé a déjà mis au point le système SciDetect ou encore créer un faux chercheur Ike Antkare. Mais ils affinent la méthode pour pouvoir balayer encore plus large.  

Les revues prédatrices poisons de la littérature scientifique

Certains de ces articles ont été publiés dans ce que l’on appelle des revues prédatrices. Le chercheur paie très cher pour être publié et il n’y a pas d’examen critique par d’autres scientifiques de son travail avant la publication. L'an dernier, plusieurs chercheurs francophones ont mis au point un canular pour dénoncer le manque de sérieux de la revue The Asian Journal of Medicine & Health. Ils ont réussi à faire publier une étude sur l'hydroxycholoroquine réduisant le nombre d'accidents de trottinettes. L'étude est restée en ligne 30 heures avant que le canular ne soit révélé.

Mais par rapport aux 243 faux articles débusqués par Cyril Labbé et Guillaume Cabanac, certains ont même été publiés dans des revues plus prestigieuses comme Institute of Physics. Des revues qui appartiennent au groupe Atlantis Press, racheté aujourd'hui par le géant de l’édition scientifique Springer, qui détient notamment la célèbre revue Nature, comme l'explique Le Monde. Depuis les articles erronés ont été retirés. Mais comment des revues avec un comité de lecture de scientifiques de haut niveau peuvent-elle laisser passer des erreurs pareil ? C'est donc qu'il n'y a pas qu'un problème de revues prédatrices mais aussi de comité de scientifiques qui n'est pas compétent ou qui ne fait pas bien son travail aussi au sein des revues à fort impact scientifique puisqu'une fois qu'un article est publié, il va être utilisé comme référence par d'autres chercheurs, il va être médiatisé et ses conclusions pourtant fausses vont rentrer dans la culture populaire. "On a créé le personnage de Popeye et la légende que les épinards donnent du fer et de la force, en partie à cause d'une erreur dans une étude scientifique", explique Guillaume Cabanac.

Débusquer les tricheurs

En sciences, il y a un adage qui dit "publish or perish" (publier ou périr). Pour certains scientifiques s’ils ne publient pas, ils peuvent se faire renvoyer du laboratoire ou de l’hôpital dans lequel ils travaillent. Ils n’obtiennent pas de subventions pour leurs recherches. Publier est aussi une façon de faire monter sa côte, de faire reconnaître son université. Alors certains peu scrupuleux utilisent des façons détournées de se faire ainsi un nom.

Pourtant, il ne sont pas toujours faciles à débusquer, ils ne signent pas directement l'étude de leur nom mais se glissent dans les références. Il faut donc des outils performants [article en anglais] pour les trouver. Certains éditeurs utilisent déjà ce genre de radar à faux papiers. Mais aujourd’hui, Cyril Labbé et Guillaume Cabanac travaillent sur un projet plus large appelé Nanobubbles [site en anglais]. Une méthode pour débusquer ces faux papiers dans toute la littérature scientifique, y compris dans d’autres sciences et avec les milliers d’articles qu’il y a eu autour du covid ils savent qu’il y a du travail.