Des scientifiques reconstruisent de la musique à partir de données cérébrales

Un groupe de scientifiques affirme qu’ils sont les premiers à reconstruire une chanson reconnaissable à partir de données collectées directement à partir du cerveau en surveillant l’activité électrique et en modélisant les modèles résultants avec des modèles de décodage basés sur la régression.

Cette chanson est “Another Brick in the Wall, Pt. 1” de Pink Floyd et la question qui préoccupait les chercheurs était :

La recherche est parue mardi dans PLOS Biologie. Les 190,72 secondes de la chanson ont été diffusées via des écouteurs intra-auriculaires à un volume confortable pour les 29 patients entre 2009 et 2015.

Parce que tous les patients souffraient d’épilepsie pharmacorésistante, ils étaient chacun déjà équipés d’électrodes placées à la surface de leur cerveau pour rechercher les crises avant même que les recherches de l’équipe ne commencent. Collectivement, le groupe avait 2 668 électrodes.

En jouant de la musique et en enregistrant la sortie, les électrodes ont fourni un ensemble de données d’électroencéphalographie intracrânienne (iEEG) que les boffins ont examinées pour déterminer les parties du cerveau stimulées par certaines fréquences dans la chanson.

Parmi les électrodes, 347 ont fini par être importantes pour coder l’acoustique de la chanson. Ils étaient concentrés dans trois régions distinctes, avec une proportion plus élevée biaisée vers le côté droit du cerveau. Le motif de guitare rythmique en doubles croches présent dans la chanson a particulièrement activé une certaine région du cerveau dans le lobe temporal – une section liée au traitement des informations auditives et à l’encodage de la mémoire.

“Ces résultats sont en accord avec des recherches antérieures, montrant que la perception musicale repose sur un réseau bilatéral, avec une latéralisation droite relative”, ont écrit les auteurs de l’étude.

La reconstruction de la chanson a impliqué la formation de 128 modèles pour chacun restaurer une fréquence qui a finalement été assemblée en un tout. Des études antérieures avaient fait la même chose avec la parole mais n’avaient pas pris suffisamment de nuances pour reconstituer la musique.

“La musique est au cœur de l’expérience humaine, mais la dynamique neuronale précise qui sous-tend la perception de la musique reste inconnue”, ont déclaré les chercheurs. En effet, la musique se superpose à la complexité. Les notes, le rythme, l’harmonie et les accords jouent tous un rôle dans l’évocation d’une réponse émotionnelle à la musique en plus des phonèmes, des syllabes, des mots, de la sémantique et de la syntaxe qu’offre la parole.

“Another Brick in the Wall, Pt. 1” était un choix de chanson particulièrement approprié. Ses instrumentaux élaborés complétés par 41 secondes de paroles relativement clairsemées en font ce que les boffins ont décrit comme un “stimulus auditif riche et complexe”.

De plus, il aurait été tolérable pour les anciens du groupe.

Les morceaux reconstruits sont disponibles à l’écoute pour tous ceux qui ne trouvent pas effrayant d’écouter du rock classique tel qu’interprété dans la tête de quelqu’un d’autre.

Une fois cet obstacle franchi, ceux qui ont une oreille pour le 11e album de Pink Floyd peuvent capter une version déformée de la mélodie, un rythme approprié et même quelques paroles.

S’il y avait eu plus d’électrodes ou si elles avaient été placées plus précisément, les chercheurs pensent que la force reconstruite serait probablement encore plus claire. Des travaux complémentaires pourraient y parvenir, ainsi que varier les fonctionnalités et les cibles des modèles de décodage ou ajouter une dimension comportementale.

Les applications de ces recherches pourraient aider ceux qui ont du mal à communiquer en raison d’une paralysie due à un accident vasculaire cérébral, de maladies comme la SLA ou d’autres raisons en reproduisant artificiellement mieux les éléments de la parole que ne le permettent les technologies similaires actuelles. ®