基于視覺(jué)-語(yǔ)言特征編碼的跨模態(tài)融合視覺(jué)問(wèn)答方法

打開(kāi)文本圖片集

摘要：現(xiàn)有的視覺(jué)問(wèn)答方法采用相同編碼器編碼視覺(jué)-語(yǔ)言特征，忽略了視覺(jué)-語(yǔ)言模態(tài)之間的差異，從而在編碼視覺(jué)特征時(shí)引入與問(wèn)題無(wú)關(guān)的視覺(jué)干擾特征，導(dǎo)致對(duì)關(guān)鍵視覺(jué)特征關(guān)注不足。提出一種基于視覺(jué)-語(yǔ)言特征編碼的跨模態(tài)融合視覺(jué)問(wèn)答方法：采用一種動(dòng)態(tài)注意力編碼視覺(jué)特征以實(shí)現(xiàn)根據(jù)問(wèn)題動(dòng)態(tài)調(diào)整視覺(jué)特征的注意力范圍；設(shè)計(jì)了一種具有雙門(mén)控機(jī)制的引導(dǎo)注意力以過(guò)濾多模態(tài)融合過(guò)程帶入的干擾信息，提升多模態(tài)特征融合的質(zhì)量，并增強(qiáng)多模態(tài)特征的表征能力。（剩余17162字）