Les usines d’évaluation identifiées comme une nouvelle forme de fraude à l’évaluation par les pairs
Une « usine d’évaluation » qui semble avoir produit au moins 85 rapports similaires d’évaluation par les pairs comportant des citations coercitives pourrait être un indicateur d’une nouvelle forme organisée de faute professionnelle académique. Les rapports de revue ont été découverts aux côtés d’articles publiés dans plusieurs revues gérées par l’éditeur en libre accès MDPI, et ont été mis en lumière par une enquête menée par des bénévoles et publiée en ligne par Predatory Reports – une organisation qui vise à mettre en lumière les pratiques de publication contraires à l’éthique.
Les travaux ont été réalisés par María de los Ángeles Oviedo Garcíaprofesseur de gestion d’entreprise et de marketing à l’Université de Séville, en Espagne, qui a commencé à enquêter après avoir lu un rapport d’examen suspect publié parallèlement à un article du MDPI. Journal de médecine clinique. Le rapport indiquait que les auteurs « devraient citer des articles récemment publiés tels que… » et fournissaient ensuite deux identifiants d’objets numériques (DOI) correspondant à des articles que le critique lui-même avait co-écrits.
« (J’ai pensé) pourquoi cette phrase est-elle si claire pour introduire ces deux articles dans la section d’introduction ? » Oviedo García explique. « Quelque chose m’a sonné à l’esprit et j’ai pensé : je vais vérifier, puis j’ai trouvé de plus en plus d’articles utilisant la même structure de phrases. J’y pensais sans arrêt et je pensais qu’il devait y avoir quelque chose là-bas.
Le travail de détective d’Oviedo García a été rendu possible grâce à la pratique émergente de l’évaluation par les pairs transparente ou ouverte, dans laquelle les rapports d’évaluation par les pairs et l’identité des évaluateurs sont rendus publics lorsqu’un article scientifique est publié. Au total, elle a découvert un ensemble de 85 rapports de revue dans 23 revues MDPI publiés entre août 2022 et octobre 2023, dont le contenu était très similaire, contenaient des fautes de frappe similaires et dont la plupart incluaient une citation coercitive – la pratique par laquelle les évaluateurs demandent aux auteurs de citer leur leur propre travail pour augmenter leur nombre de citations. Une grande partie des articles concernés se concentrent sur la chimie et les domaines connexes.
« C’était tellement évident, tellement évident », se souvient Oviedo García. « La structure était très similaire et le contenu de la critique était très similaire… plus je creusais, plus je découvrais des choses étranges – pourquoi personne n’a-t-il réalisé le taux élevé d’auto-citation ? »
« Je me suis dit : « Mon Dieu, cela doit être révélé – il s’agit clairement d’une fraude dans le processus d’examen », ajoute-t-elle. « Ce n’est pas une bonne critique si vous répétez exactement la même chose, pour chaque type d’article, dans chaque type de revue, 85 fois. »
Elle a commencé par partager ses découvertes sur X, anciennement Twitter, partageant chaque week-end 10 articles qui semblaient avoir été affectés par le moulin à critiques.
« Quelqu’un (sur X) m’a demandé si cela pouvait être lié à de faux évaluateurs – ce qui signifie qu’il n’y a personne derrière ce profil ni aucune personne ayant de faux profils dans le système », explique Oviedo García. «Je suis donc allé chez Scopus et j’ai découvert que tous les (10) évaluateurs avaient travaillé ensemble dans le passé. Je pourrais également compter le nombre de révisions qu’ils ont effectuées pour les revues MDPI – c’est une somme énorme.
En réponse aux conclusions, un porte-parole de MDPI a déclaré Monde de la chimie que l’organisation était au courant de la situation et menait une enquête. « Il convient également de noter que de telles enquêtes nécessitent un certain temps ; néanmoins, nous restons prêts à fournir des mises à jour une fois notre enquête terminée », ont-ils ajouté.
Il semble peu probable que ce moulin à révision soit le seul existant.
Anna Pendlebury, spécialiste de l’éthique de l’édition à la Royal Society of Chemistry, affirme que la manipulation des citations est une préoccupation pour l’ensemble de l’industrie et, comme cela semble être le cas identifié avec l’usine de révision, dans certains cas, un certain nombre de personnes peuvent être impliquées.
« Avec la présence d’usines de papier qui affectent déjà l’édition scientifique, il semble peu probable que cette usine de revues soit la seule qui existe », ajoute-t-elle.
« Nous sommes heureux de constater que de nombreux éditeurs travaillent ensemble, aux côtés d’associations telles que le Comité d’éthique de la publication et (l’association professionnelle des éditeurs universitaires) STM, pour lutter contre ces menaces importantes qui pèsent sur l’édition scientifique. »
Oviedo García dit avoir déjà trouvé trois autres moulins à critiques qu’elle est en train d’analyser depuis la publication de son blog par Predatory Reports en janvier. Elle note que les rédacteurs en chef et les rédacteurs en chef des revues ont le devoir de vérifier la qualité des critiques. « Si quelqu’un révise plusieurs fois par mois et qu’il fait de la recherche en plus d’enseigner, de manière continue, cela devrait sonner l’alarme », dit-elle.
Monde de la chimie a tenté de contacter trois des critiques nommés dans le billet de blog d’Oviedo García, mais n’a pas reçu de réponse à temps pour la publication.
