Une nouvelle analyse soulève des doutes sur les « découvertes » de matériaux du laboratoire autonome

Une critique d’un article publié dans Nature L’année dernière, qui a rapporté la découverte de plus de 40 nouveaux matériaux à l’aide d’un laboratoire autonome guidé par l’intelligence artificielle, a conclu qu’aucun nouveau matériau n’avait été découvert.

Le laboratoire, baptisé A-Lab, a été développé par une équipe dirigée par Yan Zeng et Gerbrand Ceder du Lawrence Berkeley National Laboratory, aux États-Unis, en collaboration avec des chercheurs de Google DeepMind, et a utilisé des outils d’apprentissage automatique pour planifier et interpréter les résultats des expériences réalisées. par des robots.

L’équipe a rapporté qu’en 17 jours de fonctionnement indépendant, A-Lab a réalisé 21 expériences par jour et produit 41 nouveaux composés inorganiques sur 58 tentatives, soit un taux de réussite de 71 %. Les chercheurs ont déclaré que ce taux de réussite pourrait être encore amélioré avec des modifications mineures aux techniques informatiques du laboratoire et à son algorithme de prise de décision.

Cependant, peu de temps après la publication de l’article d’A-Lab fin novembre 2023, Robert Palgrave, chimiste des matériaux à l’University College de Londres, au Royaume-Uni, a souligné « des problèmes très graves » avec lui, exprimant ses inquiétudes quant à la qualité de l’analyse expérimentale.

Après initialement partager ses inquiétudes sur X, anciennement connu sous le nom de Twitter, Palgrave a été contacté par Leslie Schoop, chimiste des matériaux à l’Université de Princeton aux États-Unis, qui lui a demandé s’il souhaitait travailler ensemble sur une analyse plus complète de l’article d’A-Lab. Cette analyse a maintenant été publiée sous forme de prépublication sur le ChemRxiv serveur.

Après avoir tenté de répéter l’analyse originale effectuée par A-Lab, Palgrave et Schoop rapportent désormais avoir découvert des « erreurs systématiques tout au long de l’analyse » qui, selon Palgrave, pourraient être attribuées à des problèmes à la fois dans le travail informatique et expérimental.

«Ils ne parvenaient pas à résoudre le problème du désordre de la composition», explique Palgrave. « C’est là que vous avez une structure cristalline dans laquelle les atomes sont disposés selon un motif ordonné, mais à l’intérieur de ce motif, il peut toujours y avoir du désordre. »

«Le désordre compositionnel se produit dans une quantité massive de composés dans la chimie du solide… mais il est difficile à gérer informatiquement», ajoute-t-il. « Sur le plan informatique, il est beaucoup plus facile de calculer des choses complètement ordonnées… lorsque vous ajoutez cette couche de désordre, cela rend les calculs beaucoup plus difficiles. »

Palgrave et ses collègues ont découvert qu’aucune des structures calculées par l’équipe d’A-Lab ne présentait de désordre de composition. « Ce qu’ils n’ont pas réalisé, c’est que les deux tiers de leurs prédictions n’étaient que des versions ordonnées de composés dont on savait déjà qu’ils étaient désordonnés. »

Palgrave met également en évidence des problèmes liés à l’analyse par diffraction des rayons X (DRX) dans le rapport original, notamment en raison de l’utilisation de l’IA pour effectuer le raffinement de Rietveld ; une technique utilisée dans la caractérisation des matériaux cristallins. Palgrave et Schoop concluent que l’IA n’a pas été en mesure de mener à bien sa tâche pour identifier avec précision les composés.

«(Le raffinement Rietveld) était un niveau humain très mauvais, très débutant, complètement novice – ce qui les a amenés à mal identifier les choses dans certains cas et à ne pas comprendre quels composés se trouvaient dans leur mélange», explique Palgrave. « Donc, finalement, malheureusement, il est probable qu’ils n’aient fait aucune découverte. »

« Au cours des 12 derniers mois, l’IA a fait de grands progrès et je pense qu’elle aura un impact important dans probablement tous les domaines, y compris la chimie du solide », ajoute-t-il. « Mais il y a une certaine tendance à penser que l’IA doit tout changer dès maintenant… et le message est probablement que cela va prendre plus de temps dans des domaines plus techniques et que nous ne devrions pas nous attendre à ce que tout change du jour au lendemain. »

Parce que l’IA n’a pas reconnu que la substitution et le mélange de sites peuvent se produire, elle a supposé que, parce que la composition était différente, il s’agissait de « nouveaux composés ».

Susan Latturner, Université d’État de Floride

Susan Latturner, experte en chimie du solide à l’Université d’État de Floride, aux États-Unis, affirme que l’approche présentée dans l’article d’A-Lab était « très intéressante » et « digne d’une publication de haut niveau ». Cependant, elle ajoute que dans les conditions actuelles, l’approche semble être plus efficace avec des composés moléculaires qu’avec des solides inorganiques.

«Cela est dû au fait que lorsque la composition d’un composé moléculaire varie, son emballage moléculaire, sa structure cristalline et ses propriétés changent complètement d’une manière très évidente», explique-t-elle. « Mais si vous faites une chose similaire avec un solide inorganique étendu, vous pouvez obtenir une substitution aléatoire ou un dopage de faible niveau – la structure globale peut rester la même, elle ressemble au même matériau, mais les propriétés peuvent changer radicalement. »

«C’est ce que Palgrave a remarqué en examinant les diagrammes de diffraction des rayons X sur poudre. De nombreux modèles PXRD de différents produits fabriqués par A-Lab étaient identiques. Le A-Lab avait fabriqué plusieurs variantes substituées du même composé, qui conservaient la même structure», ajoute Latturner. « Mais comme l’IA n’a pas reconnu que la substitution et le mélange de sites pouvaient se produire, elle a supposé que, parce que la composition était différente, il s’agissait de « nouveaux composés ». »

Latturner conclut que, afin d’analyser correctement les modèles de diffraction, les systèmes d’IA devront être formés pour gérer la possibilité de mélange de sites. «En attendant, il faut un humain compétent pour analyser les données, les comparer aux bases de données et à la littérature, et déterminer ce qui a réellement été fabriqué», dit-elle.

Monde de la chimie a contacté le laboratoire Ceder pour commentaires mais n’a pas reçu de réponse à temps pour la publication.

En décembre 2023, Ceder a publié une réponse à l’analyse X originale de Palgrave sur LinkedIn. Dans cet article, il a fourni des données supplémentaires qui, selon lui, confirment qu’A-Lab avait réussi à synthétiser les composés rapportés dans l’article. Cependant, Ceder a également souligné que l’équipe n’avait jamais eu l’intention de remplacer le processus de découverte de matériaux par des agents d’IA.

« Nous n’avons aucun doute sur le fait qu’un être humain peut effectuer un raffinement de meilleure qualité sur ces échantillons », a-t-il écrit. « Cependant, notre objectif était de montrer ce qu’un laboratoire autonome peut réaliser, et non de démontrer ce que le meilleur (ou la moyenne) humain peut faire en dehors du A-Lab. »