類腦研究

打開文本圖片集

神經(jīng)計(jì)算與腦機(jī)交互團(tuán)隊(duì)的多模態(tài)神經(jīng)信息編解碼研究

中國(guó)科學(xué)院自動(dòng)化研究所神經(jīng)計(jì)算與腦機(jī)交互團(tuán)隊(duì)何暉光等人將大腦、視覺和語(yǔ)言知識(shí)相結(jié)合，通過多模態(tài)學(xué)習(xí)實(shí)現(xiàn)了從人類腦活動(dòng)中零樣本地解碼視覺新類別。相關(guān)成果發(fā)表于《IEEE模式分析與機(jī)器智能匯刊》（IEEE TPAMI）。文章提出“腦-圖-文”三模態(tài)聯(lián)合學(xué)習(xí)框架，在使用實(shí)際呈現(xiàn)的視覺語(yǔ)義特征的同時(shí)，加入與視覺目標(biāo)對(duì)象相關(guān)的更豐富的語(yǔ)言語(yǔ)義特征，以更好地解碼腦信號(hào)。（剩余998字）