La démo technique prend un scanner cérébral et montre ce que vous regardez • Le registre

  • Français


  • Il y a beaucoup de bruit à signaler dans le monde des modèles d’apprentissage automatique, mais cette démo est vraiment impressionnante – ou effrayante, si vous avez l’habitude de grimper de manière récréative dans les scanners IRM.

    La nouvelle recherche est présentée dans un article intitulé “Reconstruction d’images à haute résolution avec des modèles de diffusion latente à partir de l’activité cérébrale humaine” co-écrit par le professeur Shinji Nishimoto et le professeur adjoint Yu Takagi de la Graduate School of Frontier Biosciences (FBS) de l’Université d’Osaka. Ce que les boffins ont fait, c’est trouver un moyen de transmettre des scanners cérébraux IRMf au modèle open source à variable latente Stable Diffusion créé par Stability AI, une startup d’un milliard de dollars.

    Les résultats sont pour le moins surprenants. Présenté avec le résultat d’un scanner cérébral IRMf – qui, à nos yeux, ressemble beaucoup à un bruit aléatoire – le modèle à diffusion limitée des chercheurs peut, selon leurs propres termes :

    reconstruisez des images haute résolution avec une haute fidélité de manière simple, sans avoir besoin de formation supplémentaire ni d’ajustement de modèles complexes d’apprentissage en profondeur.

    Le papier préimprimé présente cinq images récupérées : un ours en peluche, avec son nœud papillon ; une allée d’arbres; un avion de ligne à réaction atterrissant (ou éventuellement décollant); un snowboardeur sur les pistes ; et un clocher effilé. Le niveau d’appariement est variable, et une sixième image, celle d’une locomotive à vapeur, est moins claire, mais elle est remarquablement bonne, même si les chercheurs avaient choisi le meilleur de leurs résultats, comme nous pensons qu’ils seraient naturellement enclins à le faire.

    Les boffins disent que le code source de leur modèle “arrive bientôt”. Leurs données d’entrée étaient quatre des huit volontaires dont les scans se trouvent dans l’ensemble de données public sur les scènes naturelles ou NSD de l’Université du Minnesota, et les exemples d’images donnés dans l’article proviennent d’une seule personne.

    Stable Diffusion lui-même est devenu célèbre pour prendre des descriptions textuelles et générer des images parfois très réalistes à partir d’une poignée de mots seulement – et si ceux-ci sont choisis avec suffisamment de soin, le texte peut évoquer les images originales utilisées pour former le modèle.

    Ainsi, bien qu’il ne s’agisse pas précisément d’un ordinateur lisant l’esprit de quelqu’un, il donne des résultats nettement meilleurs que, par exemple, certains efforts antérieurs dans cette direction dont nous avons rendu compte en 2021. Si nous suivons correctement l’article, ils utilisent Stable Diffusion pour améliorer les images récupérées en incorporant des éléments de sa base de données d’entraînement. À titre de comparaison, il y a environ 12 ans, un article comparable [PDF] l’utilisation des statistiques et de la modélisation bayésiennes a produit des images reconnaissables, mais de qualité nettement inférieure.

    Comme nous l’avons signalé dans le passé, les affirmations de la recherche sur l’IRMf ont longtemps été controversées, mais c’est le genre de domaine où les algorithmes d’apprentissage automatique et de réseau neuronal peuvent être les plus utiles : trouver des signaux très faibles, les corréler et les faire correspondre. avec leurs immenses bibliothèques d’images, pour produire des résultats facilement reconnaissables.

    L’IRM fonctionnelle est un sous-ensemble de l’imagerie par résonance magnétique, ou imagerie par résonance magnétique nucléaire comme on l’appelait avant que les boffins ne réalisent que le “mot n” effrayait les gens. Les scanners impliqués sont extrêmement grands (et ce vautour peut attester, ayant été dans plus d’un, extrêmement fort) Machines. Personne ne va pointer une antenne parabolique sur votre tête depuis l’autre côté de la rue et lire ce à quoi vous pensez. Mais si vous signez d’abord un tas de renonciations, puis passez une heure allongé avec la tête immobile pendant qu’un énorme aimant en forme de beignet tourne autour de lui, oui, ce type de technique pourrait être en mesure de dire quelle image vous regardez. .

    irm

    IRM – Cliquez pour agrandir

    Les deux profs ont une page sur leur travail, et vous pouvez lire le résumé ou l’intégralité de l’article de 11 pages [PDF] sur le serveur de prétirage bioRchiv. Ils présenteront leurs conclusions au CVPR de cette année à Vancouver en juin. ®

    L'équipe de Comparaland

    L'équipe rédactionnnelle du site

    Pour contacter personnellement le taulier :

    Laisser un commentaire

    Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *