基于多模態(tài)數(shù)據(jù)融合的短視頻分類研究

打開(kāi)文本圖片集

摘要：文章通過(guò)對(duì)短視頻領(lǐng)域真實(shí)場(chǎng)景多模態(tài)的數(shù)據(jù)進(jìn)行分析研究，對(duì)短視頻中的標(biāo)題、音頻轉(zhuǎn)文本識(shí)別結(jié)果以及視頻OCR識(shí)別結(jié)果采用多種不同的拼接方式并展開(kāi)消融實(shí)驗(yàn)。同時(shí)，對(duì)基線模型進(jìn)行改進(jìn)，將文本特征和視頻特征分別在權(quán)重共享的Embedding和非權(quán)重共享的Embedding上將合并的文本模態(tài)特征和視頻模態(tài)特征一起傳入BERT網(wǎng)絡(luò)實(shí)現(xiàn)Early-Fusion。（剩余5189字）