基于多模態(tài)特征融合的場(chǎng)景文本識(shí)別
打開(kāi)文本圖片集
摘 要：為了解決自然場(chǎng)景文本圖像因?yàn)檎趽?、扭曲等原因難以識(shí)別的問(wèn)題，提出基于多模態(tài)特征融合的場(chǎng)景文本識(shí)別網(wǎng)絡(luò)（multimodal scene text recognition，MMSTR）。首先，MMSTR使用共享權(quán)重內(nèi)部自回歸的排列語(yǔ)言模型實(shí)現(xiàn)多種解碼策略；其次，MMSTR在圖像編碼階段提出殘差注意力編碼器（residual attention encoder，REA-encoder）提高了對(duì)淺層特征捕獲能力，使得淺層特征能夠傳到更深的網(wǎng)絡(luò)層，有效緩解了vision Transformer提取圖像淺層特征不充分引起的特征坍塌問(wèn)題；最后，針對(duì)解碼過(guò)程中存在語(yǔ)義特征與視覺(jué)特征融合不充分的問(wèn)題，MMSTR構(gòu)建了決策融合模塊（decision fusion module，DFM），利用級(jí)聯(lián)多頭注意力機(jī)制提高語(yǔ)義與視覺(jué)的融合程度。（剩余18683字）