基于改進(jìn)的視覺注意力機(jī)制的圖像描述方法

打開文本圖片集

摘  要：為了解決所生成的圖像描述語句不準(zhǔn)確的問題，提出一種基于注意力機(jī)制和強(qiáng)化學(xué)習(xí)的三層LSTM網(wǎng)絡(luò)圖像描述模型。首先使用ResNet-101網(wǎng)絡(luò)提取圖像的特征信息，再使用改進(jìn)的三層LSTM網(wǎng)絡(luò)模型生成描述語句。同時(shí)針對(duì)采用交叉熵?fù)p失函數(shù)對(duì)模型進(jìn)行訓(xùn)練時(shí)存在的曝光偏差問題，使用強(qiáng)化學(xué)習(xí)方法直接優(yōu)化CIDEr評(píng)價(jià)指標(biāo)。（剩余7701字）