Kaj je tisto v možganih, kar omogoča, da zvok – potem ko se mehanske in akustične vibracije v ušesu prek bobniča in polževe membrane prevedejo v električne signale – prepoznamo kot besedo? Kognitivna nevroznanost zadnjih nekaj let je postregla z obilico zanimivih empiričnih spoznanj o tem, kako se prostorski in časovni vzorci izmerjene možganske aktivnosti spreminjajo z ozirom na psihološke procese ¹. Toda, če velja slediti Feynmanovemu znamenitemu reku »Razumem samo to, kar lahko zgradim«,* potem zgolj na podlagi opažanj takšnih statističnih povezav tudi kognitivni nevroznanstveniki še nismo blizu resničnemu razumevanju možganov … Ali pač?

Poglejmo okoli vogala, k umetni inteligenci (AI). Dandanes lahko marsikatero funkcijo pametnih naprav upravljamo z govornimi ukazi. Prepoznavanje govora (angl. speech recognition) je denimo področje umetne inteligence, kjer smo do danes zgradili tehnologijo, ki na prvi pogled dovolj uspešno konkurira dosežkom človeškega prepoznavanja govora ². Pa nam tovrstni inženirski preboji lahko pomagajo razumeti delovanje možganov, v katerih korenini človeška inteligenca? Kaj pa če bi se osredotočili na umetne sisteme prepoznavanja govora, ki za povrh v določeni meri utelešajo načela možganskega delovanja? In če bi skušali digitalni vrvež v teh in silico »možganih« primerjati s fiziološkimi meritvami možganskih odzivov, med tem ko udeleženci izvajajo identično nalogo? V prispevku očrtam polje kognitivne računske nevroznanosti, ki je nedavno dobila svojo letno konferenco, in predstavim primer nedavne raziskave na področju razumevanja govora, ki uteleša tovrsten pristop.

Google v možganih, od psihološke do nevrobiološke veljavnosti

Računski modeli – matematični oziroma formalni opisi duševnih procesov, ki domnevno podhodijo človeškemu vedênju, in njihove računalniške implementacije – so tradicionalno eno osrednjih razlagalnih orodij kognitivne znanosti ³. Grajenje računskih sistemov, ki izkažejo sposobnost inteligentnega vedênja, danes poznamo pod imenom AI. V svetu tehnoloških rešitev in aplikacij, ki jih poganja AI, načeloma ni zelo pomembno, ali nek sistem AI reši nalogo na »psihološko« oziroma »biološko veljaven« način; bržkone je pomembneje, da algoritem pri določeni nalogi parira človeški uspešnosti oziroma da je v nekem kontekstu dovolj učinkovit za ciljni namen. Samo pomislimo, kako hitro se ob neposrečenem prevodu strojnega prevajalnika privoščljivo namuznemo in kolikokrat nam ta isti sistem pravzaprav ponudi rešitev, ki resda ni odlična, a vendar dovolj dobra za naš namen.

Ker pa je cilj rabe tovrstnih umetnih sistemov v kognitivni nevroznanosti teoretične in ne zgolj praktične narave, morajo ti zadostiti ne le kriteriju končne učinkovitosti pri nalogi, temveč morajo biti tudi ekološko, psihološko in biološko veljavni ³, ⁴, ⁵, ⁶. Kaj je mišljeno s tem? Na kratko, ekološka veljavnost narekuje, da naj računski model deluje v okolju, ki kar najbolj odslikava lastnosti tipičnega okolja proučevanega organizma. Zgodnji računski modeli branja so denimo procesirali jezike z močno omejenim besediščem, denimo nekaj deset besed ⁷. To ne odseva velikosti dejanskega besedišča naravnih jezikov – besedišče odraslih govorcev prvih jezikov je ocenjeno med 10.000 in 50.000 besed oziroma enot ⁸. Pri današnjih standardih bi torej nezmožnost obdelave obširnejšega besedišča veljalo za pomanjkljivost ⁹. Podobno psihološka veljavnost narekuje, da mora računski model v čim večji meri zaobjeti empirično potrjene psihološke in vedenjske značilnosti organizma pri reševanju določene naloge. Psihološko veljavnost računskih modelov branja se tako pogosto ocenjuje tako, da se preveri, kako dobro ti modeli napovedo čas branja posameznih besed v besedilih, ki ga je pri človeških udeležencih moč meriti s sledilcem očesnih gibov ¹⁰.

Kaj pa biološka veljavnost računskih modelov? Če se še nekoliko pomudimo pri prevajalniku: bi kdo statistične algoritme, ki napajajo Googlov strojni prevajalnik, smatral kot uspešno nevrobiološko teorijo prevajanja? Lahko pograbimo posamezne komponente Googlove programske opreme in jih vzporejamo s posameznimi deli možganov? Morda kar z možgansko fiziologijo? Pod kakšnimi pogoji bi si drznili reči, da so tovrstni algoritmi nevrobiološko veljavni oziroma da možganska fiziologija na svojstven način predstavlja njihov približek? Nenazadnje želimo razumeti in razložiti, kakšna »programska oprema« – če obdržimo to metaforo – se najbolje preslika na zgradbo in delovanje možganov oziroma še natančneje: s pomočjo računskih modelov želimo spoznati, katere so ključne lastnosti možganov, ki botrujejo lastnostim inteligentnega vedênja v danem okolju.

Strojno učenje in nevronske mreže

Vstopili smo na polje kognitivne računske nevroznanosti (angl. cognitive computational neuroscience); ta se pri razlagi delovanja možganov opira na grajenje računskih modelov, ki morajo zajemati ključne biofizikalne lastnosti možganov in obenem v določeni meri izkazati zmožnost kognitivnega oziroma inteligentnega vedênja ¹¹. Polje kognitivne računske nevroznanosti je široko; izvajamo lahko računske simulacije na različnih ravneh možganske organizacije: od aktivnosti posamičnih živčnih celic, do manjših nevronskih omrežij (npr. od nekaj 10 do 1000 celic), vse do obsežnih nevronskih mrež s tudi po več milijoni nevronov, kjer so v ospredju globalne vedênjske lastnosti mreže, medtem ko posamezni »nevroni« domala že povsem povozijo biofizikalne lastnosti nevronov ¹². In prav v tej zadnji skupini je dandanes posebne pozornosti deležna družina računskih modelov in algoritmov, ki jih je moč graditi s tehnikami statističnega oziroma strojnega učenja – t. i. umetne nevronske mreže (angl. artificial neural networks).

Tehnologija in matematična podlaga nevronskih mrež nista novi, začetki segajo že v 50. leta 20. stoletja, ko je ameriški psiholog Frank Rosenblatt predstavil Perceptron, preprosto usmerjeno nevronsko mrežo, ki je lahko prepoznavala pisane črke ¹³. Z izrazom statistično učenje (angl. statistical learning) oziroma strojno učenje (angl. machine learning) označujemo nabor algoritmov, s katerimi vedênje nevronske mreže (njene parametre) v fazi učenja nastavimo (optimiziramo) tako, da bo ta kar najbolj uspešna pri reševanju določene naloge (npr. prepoznavanja oziroma klasifikacije besed v zvočnem posnetku govora). V nevronskih mrežah so parametri (tudi: uteži), ki jih »uglašujemo«, interpretirani kot povezave (analogne sinapsam) med posameznimi računskimi enotami (analogne nevronom). Naučeno mrežo, tj. ko so sinaptične povezave uglašene na vrednosti, pri katerih je vedenjska uspešnost nevronske mreže najvišja, lahko nato izpostavimo novim dražljajem, ki niso bili uporabljeni v fazi učenja. Tako torej dobimo in silico udeleženca v eksperimentu.

Glavna razloga, da so nevronske mreže in strojno učenje v zadnjih letih ponovno pridobile na veljavi, sta (tako v industrijskih aplikacijah kot v raziskavah) predvsem porast in dostopnost računske moči in posledično zmožnost strojnega učenja večnivojskih mrež (angl. multilayer networks) z veliki številom nevronov in parametrov – sinaps (t. i. globoko učenje, angl. deep learning) ¹³. Tretji razlog pa je presenetljivo sovpadanje med dinamiko procesov v takšnih »globokih mrežah« in možganskimi fiziološkimi odzivi, kadar nevronske mreže in človeški udeleženci rešujejo identično nalogo. Poglejmo si primer nedavne raziskave, ki ilustrira omenjen pristop.

Najprej je bila beseda

Kakšne operacije in v katerem delu možganov potekajo, kadar v zvočnem signalu prepoznamo izgovorjeno besedo? Kell in sodelavci ¹⁴ so umetno nevronsko mrežo naučili prepoznavanja besed in prepoznavanja glasbenih zvrsti v približno 2 sekundi dolgih posnetkih govora in skladb (slika 1). Nevronsko mrežo so torej optimizirali za izvajanje dveh nalog, ki ju večina izmed nas uspešno »rešuje« na dnevni ravni. V vsakdanjem življenju smo resda soočeni z daljšimi in kompleksnejšimi dražljaji (ekološka veljavnost!), toda prepoznavanje posamičnih besed je vendarle kognitivno zanimiva naloga; če na primer želimo razumeti neko kompleksno besedilo, moramo bržčas prepoznati tudi posamezne besede.

Slika 1: Končna arhitektura nevronske mreže, uporabljene v študiji Kella in sodelavcev ¹⁴. Mreža kot vhodne podatke zajame spektrogram posnetka govora (oziroma pesmi) in ga skozi več nivojev transformacij razvrsti (klasificira) na besede, ki so vključene v besedišče. Oznake nivojev predstavljajo matematično transformacijo, ki se izvaja s posameznim nivojem (»Conv« – konvolucijski nivo, »pool« – združevalni nivo, »norm« – normalizacijski nivo, »fcb« – polnopovezan nivo). Najvišje razvrščena beseda je smatrana kot prepoznana beseda. Moči povezav oziroma uteži (sinaps) med posameznimi računskimi enotami (nevroni) v nivojih so določene na podlagi uspešnosti mreže v fazi učenja. Nevronska mreža je torej optimizirana za prepoznavanje besed (in glasbenih zvrsti). Povzeto in prevedeno po Kell in sodelavci¹⁴, slika 1 (avtorjeva različica, prevod: K.A.).

Motiti se je človeško

Glavni kriterij psihološke veljavnosti računskega modela je, kako dobro lahko izkaže vedênje, podobno človeškemu. Kell in sodelavci so primerjali uspešnost naučene nevronske mreže in ljudi, udeleženih v raziskavi, pri prepoznavi oziroma razvrščanju posnetkov na besede in glasbene zvrsti. Izkazalo se je, da je vedênje nevronske mreže, tj. njeni odstotki pravilno prepoznanih besed, primerljivo z vedênjem udeležencev (slika 2). Zanimivo, kadar je bil posnetkom dodan hrup oziroma šum, je nevronska mreža pravilno razvrstila govorjeno besedo v manj kot petdeset odstotkih vseh poskusov, podobno kot človeški udeleženci. Ko je bilo šuma bistveno manj, je uspešnost poskočila na 70–80 %, zopet podobno kot pri ljudeh. Če smo natančni, je bila uspešnost nevronske mreže pravzaprav celo nekoliko višja od človeške. V svetu strojnega učenja in umetne inteligence to ni nov pojav; nevronske mreže, optimizirane za prepoznavanje slik (angl. image recognition), so dandanes neredko uspešnejše od človeških udeležencev ¹⁵.

Slika 2: Vedenjska uspešnost prepoznavanja besed in glasbenih zvrsti pri človeških udeležencih (A) in nevronski mreži (B) ter statistična povezanost med vedenjsko uspešnostjo mreže in človeških udeležencev (C). SNR –razmerje signal/šum. Povzeto po Kell in sodelavci ¹⁴ (avtorjeva različica, prevod: K.A.).

V tej fazi je možno zaključiti, da je vedênje nevronske mreže do neke mere psihološko veljavno. Ne le da je uspešnost umetnega sistema podobna človeški, tudi kadar so okoliščine težavne (šum), se zmoti v podobnem obsegu kot človek. Kaj pa nevrobiološka veljavnost? Je notranja arhitektura nevronske mreže primerljiva dinamiki bioloških možganskih odzivov, merjenih s funkcionalno magnetno resonanco (fMRI)? Ali obstaja statistična povezanost med meritvami možganske aktivnosti in zgradbo oziroma računskimi procesi v umetni nevronski mreži?

Nivoji nevronskih mrež

V splošnem si nevronsko mrežo lahko zamislimo kot sistem, sestavljen iz niza matematičnih operacij. Tako imenovani nevroni so razporejeni v sloje oziroma nivoje (angl. layers), ki vhodne podatke (npr. zvočni posnetek govora) pretvorijo v želeni vedenjski odziv, npr. prepoznavanje oziroma razvrščanje besed (slika 1). Med vhodnim in izhodnim nivojem je navadno več vmesnih, t. i. skritih nivojev (angl. hidden layers) nevronov, navadno nekaj deset. Vsak posamezen nevron (v enem nivoju jih je lahko po več sto) si nadalje lahko zamislimo kot matematično funkcijo, ki kot podatke prek vhodnih povezav (uteži) prejme informacije o aktivacijah vseh nevronov nižjega nivoja in kot rezultat navede lastno aktivacijo oziroma stanje. Kako močno aktivnost posameznih nevronov v predhodnem nivoju vpliva na aktivnost določenega nevrona naslednjega nivoja je odvisno od vzorca in moči sinaptičnih povezav, in prav to so vrednosti, ki jih »uglasimo« v fazi učenja naloge. Računske operacije znotraj mreže, ki botrujejo njeni »inteligenci«, so tako posledica prilagoditve na reševanje naloge.

Z vidika kognitivne nevroznanosti je zanimivo, da v nalogah prepoznavanja slik naučene nevronske mreže po fazi učenja v omenjenih nivojih razvijejo občutljivost na določene dražljaje oziroma določene lastnosti slik, torej razvijejo svojstveno receptivno polje (angl. receptive field). Skriti nivoji takšnih nevronskih mrež postanejo denimo postopno občutljivi za zaznavanje kontrasta, robov, oblike podob itn., kar je sicer tudi eno osnovnih spoznanj v fiziologiji vidnega zaznavanja ¹⁶. Gre za eno bolj zanimivih sovpadanj med umetnimi in biološkimi sistemi, ki je bilo do danes večkrat empirično potrjeno ¹⁷, ¹⁸, ¹⁹.

Aleksander Kell in ekipa so najprej primerjali, kako dobro različni modeli slušnega zaznavanja napovedo vrednosti izmerjenega hemodinamičnega signala v slušni skorji (slika 3). Natančneje: kolikšen delež variance v merjenem možganskem signalu je moč pojasniti na podlagi aktivnosti nevronov v posamičnih nivojih mreže. Primerjava pokaže, da je učena nevronska mreža statistično uspešnejša tako od standardnega modela (uveljavljen model kohlearnega procesiranja v slušni nevroznanosti) kot tudi od nevronske mreže, kjer so sinaptične povezave ustvarjene naključno, torej brez učenja (slika 3, a).

Slika 3: Slika 3 A) Delež razložene variance fMRI-signala na podlagi aktivnosti nevronov v različnih nivojih nevronske mreže. B) Prostorska porazdeljenost uspešnosti posamičnih nivojev nevronske mreže. Deli slušne skorje so razvrščeni v dve skupini glede na to, ali so v posamičnem vokslu boljši napovedni dejavnik možganske aktivnosti srednji (vijolično) ali višji nivoji (modro). C) Podobno kot B, le da barve ne ponazarjajo nivojev, ampak dejansko razliko v razloženi varianci med višjim in srednjim nivojem. Pozitivna razlika (modro) pomeni, da več variance razloži višji nivoji in obratno. Povzeto po Kell in sodelavci ¹⁴, slika 5 (avtorjeva različica, prevod: K.A.). DH – desna hemisfera. LH – leva hemisfera.

Z grafa A na sliki 3 je razvidno tudi, da napovedna uspešnost ni enakomerno razporejena med nivoji nevronske mreže; nevroni določenih nivojev so uspešnejši kot nevroni drugih nivojev. Predvsem skriti nivoji, ki se nahajajo med vhodnimi in izhodnimi, so uspešnejši pri napovedovanju možganskega signala. Z drugimi besedami, dinamika računskih operacij v srednjih nivojih, ki predstavljajo faze med vhodnim zajemom spektrograma govora oziroma pesmi in izhodnim razvrščanjem besed, močneje statistično sovpada z izmerjenim možganskim signalom v slušni skorji.

Ko ocenjujemo napovedno uspešnost po posamičnih nivojih, je govora o mediani uspešnosti v celotni slušni skorji. Kaj pa če se vprašamo o prostorski specifičnosti te statistične povezanosti – kje v slušni skorji so določeni nivoji uspešnejši? Če dele slušne skorje razvrstimo glede na to, kateri nivoji so najuspešnejši, je moč opaziti delitev na dve področji: posteriorno-superiorni del slušne skorje v senčnem režnju, kjer so uspešnejši napovedni dejavnik srednji in nižji nivoji nevronov (slika 3, b in c, vijolično), ter anteriorno-inferiorni del (slika 3, b in c, modro), kjer so uspešnejši globlji oz. višji nivoji. Nevronska mreža z naključno določenimi sinaptičnimi povezavami ne izkaže podobnega gradienta v napovedni uspešnosti.

Rezultati torej kažejo na svojevrstno hierarhično organizacijo, kjer možganska aktivnost v delih slušne skorje, ki so bližje vhodnemu senzoričnemu signalu, močneje sovpada z aktivnostjo skritih nivojev nevronske mreže, ki so bližje vhodnim nivojem, in obratno. V prispevku smo predstavili le glavne rezultate raziskave Alexandra Kella in sodelavcev. Študija je obsežna in vključuje številne dodatne analize, ki jih v tem prispevku zavoljo zadoščenja prostorskim omejitvam ne navajamo. Za zaključek si poglejmo, kam nas kognitivna računska nevroznanost pelje od tu naprej.

Razumeti možgane

Ogledali smo si primer raziskave kognitivne računske nevroznanosti. Ekipa Alexandra Kella je pokazala, da so vedenjski rezultati nevronske mreže pri prepoznavanju besed in glasbenih zvrsti podobni vedenjskim vzorcem človeških udeležencev. S primerjavo umetnega kognitivnega sistema in možganske fiziologije (signal fMRI) so raziskovalci očrtali možne vzporednice med procesi, ki potekajo v obeh sistemih. A tu se pravo delo šele začne: ne glede na impresivno kvoto tehnične sofistikacije je študija Kella in sodelavcev namreč korelacijska. Nazorno pokaže na zanimiv fenomen – statistično povezanost med procesi v umetnem in biološkem sistemu – a ga na tej točki vendarle še ne razloži. Kaj botruje izpričani povezanosti? Zakaj je napovedna uspešnost najvišja za nevrone v srednjih nivojih? Kot izpostavijo tudi avtorji študije, je tukajšnji vzorec rezultatov nekoliko drugačen od vzorcev pri nalogah prepoznavanja slik, kjer so z najbolj perifernimi deli vidne skorje najbolj povezani najnižji – in ne srednji – nivoji nevronskih mrež.

Da bi prišli do odgovora, moramo pomisliti tudi na nadaljnje vidike biološke veljavnosti umetnih nevronskih mrež. Nevroni v umetnih mrežah denimo ne prožijo akcijskih potencialov, ampak imajo aktivacijski profil, ki je izbran tako, da ustreza matematičnim zahtevam izbranih algoritmov strojnega učenja, sicer učenje ni možno. »Fiziologija« umetnih nevronov je torej pragmatično izbrana za potrebe strojnega učenja ²⁰, ²¹, ²². Če želimo razumeti, kako poteka procesiranje in učenje z biološkimi nevroni, potem moramo v računske modele vključiti dinamiko, ki sledi elektrofiziološkim lastnostim nevronov ²³. Razumevanje računskih operacij, ki potekajo znotraj mreže, z ozirom na kognitivne teorije, je namreč ključnega pomena, če želimo razložiti, zakaj prihaja do izpričane povezanosti med fiziologijo in umetnimi sistemi ²⁴.

Poleg nadaljnjega potrjevanja biološke in psihološke veljavnosti umetnih nevronskih mrež se lahko torej v prihodnje nadejamo še močnejšega zasuka k iskanju biološko veljavnih arhitektur in algoritmov; na primer razvoj globokega učenja z nevronskimi mrežami, kjer nevroni vključujejo dinamiko akcijskih potencialov ²⁵, učenje z algoritmi, ki izkoristijo načela možganske anatomije in strukture nevronskih celic ²⁶, ²⁷ oziroma razvoj algoritmov, ki lahko aproksimirajo in parirajo trenutno najuspešnejšim, a pretežno biološko neveljavnim algoritmom učenja v umetnih nevronskih mrežah ²², ²⁷, ²⁸. V nasprotnem primeru lahko vnovičen preboj AI v kognitivni nevroznanosti smatramo kot še enega v nizu inženirskih »čudodelstev«, ki pa ne ponudi konkretnejših uvidov v načela delovanja možganov. Vprašanja, ki bodo bržčas tvorila jedro programa nove znanstvene konference s transparentnim imenom Kognitivna računska nevroznanost ²⁹. Ta se bo v svoji tretji izdaji, in prvič na tleh stare celine, predstavila jeseni 2019 v Berlinu.

Opombe

*Izvirnik napisa v angleščini (»What I cannot create, I do not understand«) so našli na tabli v delovnem kabinetu znanega fizika Richarda Feynmana po njegovi smrti. Fotografija iz arhiva inštituta Caltech: http://archives.caltech.edu/pictures/1.10-29.jpg.

Zahvala

Avtor prispevka se zahvaljuje Alexandru Kellu za dostop do slikovnega gradiva in Žigi Pušniku za terminološki pregled.