Des intelligences artificielles capables de reproduire ce qu'on regarde

Imaginez un instant être capable de recréer avec une précision étonnante ce que quelqu'un regarde simplement en analysant son activité cérébrale. Ce n'est plus un rêve futuriste. Des chercheurs ont réussi à donner aux systèmes d'intelligence artificielle la capacité de se concentrer sur des régions cérébrales spécifiques pour reconstruire des images de ce qu'un singe regarde. 

Les résultats sont bluffants. Prenons l'exemple des travaux de Thirza Dado et son équipe de chercheurs, basée au Pays Bas. Ils ont utilisé des enregistrements cérébraux d'un macaque pour recréer des images mentales.

Sur une illustration, nous voyons trois rangées d'images : la première rangée montre les images originales que le singe regardait : une chaise, un poisson, une araignée. La deuxième rangée montre les images reconstruites par l'IA en se concentrant sur des régions cérébrales spécifiques ; et la troisième rangée montre les images reconstruites par un système d'IA sans mécanisme d'attention. La différence est frappante : l'IA avec un mécanisme d'attention produit des reconstitutions beaucoup plus précises. Dans le cas de la concentration des régions cérébrales, le poisson ressemble à un poisson, alors que sans mécanisme d'attention, le poisson ressemble à un petit pain rond. 

14 000 films dans 1millimètre cube de tissu cérébral 

Maintenant, imaginez-vous sur une plage, un livre ou un sudoku à la main. Votre cerveau est détendu, presque en mode ralenti. Mais saviez-vous que ce même cerveau contient l'équivalent de milliards de Blu-ray ? En effet, l'analyse complète d'un millimètre cube de tissu cérébral nécessite environ 1,4 pétaoctets de données, soit l'équivalent de 14 000 films 4K. 

Des experts en IA de chez Google et de l'Université de Harvard ont mis au point une technique pour classer, ranger et étudier ce vaste contenu cérébral, ce qui aide considérablement les chercheurs à comprendre notre cerveau. Cette avancée pourrait ouvrir la voie à des applications incroyables, notamment dans les domaines médicaux et technologiques. 

Le projet a impliqué la création de 225 millions d'images en deux dimensions à partir de 5 000 tranches ultrafines du tissu cérébral. Cette cartographie a révélé 50 000 cellules et 130 millions de synapses. Le but est de comprendre les connexions et les fonctions cérébrales en détail, aidant ainsi à percer les mystères de notre cerveau.  

Projet Obvious

Un collectif d'artistes français, Obvious, a réussi à utiliser une intelligence artificielle pour recréer des images à partir de l'activité cérébrale. Ce projet, nommé "Mind to Image", s'appuie sur un modèle open source appelé MindEye, qui associe des images vues à l'activité du cerveau. Le processus commence par l'observation des zones cérébrales activées lors de la visualisation de portraits et de paysages par un des artistes dans une machine IRM. 

Ces données sont ensuite utilisées pour entraîner l'IA, qui tente de reconstruire les images originales uniquement à partir des informations cérébrales. Dans un premier temps, les artistes imaginent des scènes inspirées de descriptions textuelles pendant qu'ils sont dans l'IRM, et leur activité cérébrale est enregistrée. Ensuite, l'IA traite ces données pour générer des images. Malgré les défis techniques, cette méthode a permis de recréer des images qui, bien qu'imparfaites, conservent les éléments sémantiques des pensées des artistes, comme une montagne enflammée avec de la lave. Le projet s'inspire également du surréalisme, cherchant à rapprocher l'image mentale et la réalisation plastique le plus rapidement possible. Les artistes prévoient de présenter leurs œuvres en octobre à Paris et espèrent explorer d'autres formats, comme le son et la vidéo, à l'avenir