Combattre le feu par le feu : l’IA peut détecter les faux articles de chimie générés par l’IA
La chimiste analytique Heather Desaire et son équipe de l’Université du Kansas (KU) ont créé un détecteur qui, selon eux, est efficace à 98-100 % pour identifier les articles de chimie générés par de grands modèles de langage (LLM) comme ChatGPT.1 Les chercheurs affirment que leur outil peut aider les éditeurs scientifiques à détecter et à prévenir une utilisation inappropriée de l’intelligence artificielle (IA) dans les revues universitaires.
Les chercheurs ont dévoilé leur détecteur pour la première fois en juin, lorsqu’ils l’ont appliqué à des articles Perspectives de Science et a constaté qu’il reconnaissait le texte scientifique généré par ChatGPT avec une précision de plus de 99 %.2 Mais maintenant, ils ont considérablement élargi la portée de l’outil en le testant sur des articles de chimie.
Le détecteur KU a été formé sur 100 passages d’introduction provenant de 10 revues publiées par l’American Chemical Society. L’équipe a ensuite chargé ChatGPT d’écrire des passages similaires.
Le modèle d’apprentissage automatique a correctement identifié les passages rédigés par des humains dans 100 % des cas, ainsi que ceux générés à partir d’invites basées uniquement sur les titres des rapports. Les résultats étaient presque aussi bons lorsque le LLM était formé sur des passages d’introduction, avec une identification correcte dans 98% des cas.
«La grande motivation était d’examiner plus largement une sélection de revues… et nous voulions remettre en question l’approche avec des invites plus complexes et plus diverses», explique Desaire.
Les experts en fraude dans la recherche soulignent que le chercheur ChatGPT pourrait être utilisé comme un outil pour signaler les articles suspects, qui feraient ensuite l’objet d’une enquête par les critiques ou les éditeurs d’une revue pour déterminer s’ils sont faux.
Elisabeth Bik, microbiologiste et consultante en intégrité scientifique aux États-Unis, est enthousiasmée par l’étude. « Il s’agit d’un nouvel outil bienvenu qui pourrait grandement aider les éditeurs de revues scientifiques à filtrer les manuscrits entrants à la recherche de textes générés par ordinateur, de la même manière que l’utilisation d’un logiciel de détection de plagiat », explique-t-elle. Monde de la chimie.
Mais Saniat (John) Sohrawardi, doctorant en cinquième année au Rochester Institute of Technology de New York qui travaille sur la détection des « deep fakes », a quelques réserves. « Aucune revue, aucun établissement universitaire ne devrait utiliser cet outil comme seule justification pour rejeter un article », déclare-t-il. « Je crois que leur travail a du mérite en tant que premier essai, à condition qu’il soit suffisamment efficace et qu’il nécessite suffisamment de ressources, mais il doit y avoir une clause de non-responsabilité indiquant que cela ne doit pas être utilisé comme preuve définitive pour rejeter l’article. »
Inquiétudes concernant les allégations exagérées
Plusieurs experts dans ce domaine sont cependant sceptiques quant aux affirmations selon lesquelles un détecteur d’IA atteint des niveaux de fiabilité aussi élevés. Debby Cotton, directrice de la pratique académique à l’Université de Plymouth Marjon au Royaume-Uni, souligne que les premières expérimentations avec bon nombre de ces détecteurs ont suggéré une grande précision, mais que cela a rarement été confirmé une fois de plus largement testé.
Cotton, auteur d’une étude récente examinant l’utilisation de l’IA dans l’enseignement supérieur3, dit que dans le cas de ce dernier outil, le modèle a été spécifiquement formé sur un champ étroit et cela le rendra meilleur que la plupart. Néanmoins, elle suggère qu’il est généralement assez facile d’échapper à ces détecteurs grâce à une modification humaine superficielle, soulignant qu’il existe même un nouveau service appelé Undetectable AI qui aide les auteurs qui souhaitent dissimuler les origines de l’IA de leur travail.
Reuben Shipway, professeur de biologie marine à l’Université de Plymouth et co-auteur de l’article de Cotton, est du même avis. « Qu’est-ce qui empêche les auteurs d’écrire simplement à l’aide de LLM, de comparer le résultat au logiciel de détection, puis de modifier le résultat jusqu’à ce qu’il obtienne un score faible pour le logiciel de détection ? » il demande. « Pour le moment, rien. »
Desaire veut maintenant déterminer dans quelle mesure ChatGPT a infiltré l’entreprise de recherche. «Nous disposons d’un détecteur utile pour rechercher les contributions ChatGPT à la rédaction scientifique universitaire. La prochaine étape serait donc de l’appliquer à la rédaction scientifique universitaire et de voir», dit-elle.
« Je ne pense pas que quiconque sache vraiment dans quelle mesure ChatGPT contribue à la littérature universitaire – est-ce zéro, est-ce 20 % ? demande Désaire. Elle dit que l’objectif de sa future étude sera d’élucider à quel point l’utilisation inacceptable de ChatGPT est courante dans la littérature scientifique.
