Hihetetlen, mit tettek agykutatók a Pink Floyd dalával

Korábban beszámoltunk róla, hogy napjainkra egyre kifinomultabbá válik a technológia, amely az agyfelszín közelébe beültetett elektródák segítségével igyekszik dekódolni azon betegek gondolatait – pontosabban agyi aktivitását –, akik elveszítették beszédképességüket, majd mások számára is érthető módon megjeleníteni a közlendőjüket. Bár a módszer egyelőre gyerekcipőben jár, a kezdeti eredmények mindenképpen biztatóak. Mint azt a Kaliforniai Egyetem berkeley-i kampuszának (UC Berkeley) közleménye írja, a távolabbi jövőre nézve egy olyan eszköz lenne a cél, amely akár elektródák beültetése nélkül, a fejtetőre helyezett érzékelők révén is képes hatékonyan olvasni a betegek kommunikációs szándékát, és gondolataikat szöveggé alakítva fel is olvassa.

Problémát jelent azonban, hogy beszédünk nem csupán szavakból és mondatokból áll. Az emberi beszédnek ritmusa, hangsúlyozása, hanglejtése is van. Márpedig egyelőre csupán arról van szó, hogy az érintettek betűkre gondolva tudnak apránként összetett szöveget alkotni. „Jelenleg a technológia leginkább ahhoz hasonlítható, mintha egy billentyűzet lenne az elméhez. Egy billentyűzetből pedig nem lehet gondolatokat olvasni. A gombokat kell nyomogatnod. Ebből pedig egy robotszerű hang keletkezik – azaz mindenképpen kevesebb annál, mint amit önkifejezési szabadságnak hívnék” – mutatott rá Ludovic Bellier, az UC Berkeley kutatója.

Bellier és munkatársai ugyanakkor egy különleges kísérlet keretében most bebizonyították, hogy lehetséges agyhullámokat rögzíteni és lefordítani muzikális elemekké, ezáltal árnyalva az elhangzó beszéd jelentését. A kutatócsapat az Albany Medical Center kórház összesen 29 olyan betegével dolgozott együtt a 2008 és 2015 közötti időszakban, akik epilepsziaműtét előtt álltak. Mindannyiuk agyába 2668 elektródát ültettek, köztük 347 olyat, amely kifejezetten a zenével összefüggő agyi régiók aktivitását mérte. Lejátszották nekik a Pink Floyd együttes "Another Brick in the Wall, Part 1" című 3 perces számát az 1979-es The Wall albumról, majd az elektródák által rögzített adatokat a mesterséges intelligencia segítségével dekódolták. Az MI ezután visszaalakította hanghullámokká a kapott információkat, és mint kiderült, sikerült felismerhetően reprodukálni az eredeti dalt.

Az eredeti dalrészlet:

És amit az MI reprodukált az elektródák adataiból:

Érdemes hangsúlyozni, hogy mivel felvételek csupán az agyfelszín közelében készíthetők, így nem valószínű, hogy a közeljövőben bárki is bele tudna hallgatni ilyen módon a fejünkben csengő dalokba. Ugyanakkor azok számára, akiknél – például stroke, ALS vagy egyéb neurológiai zavar miatt – nehézségekbe ütközik a kommunikáció, ez a megközelítés segíthet visszaadni a beszéd zenei aspektusát.

A kísérletről készült tanulmány a PLOS Biology című folyóiratban jelent meg.