基于BERT-LSTM模型的航天文本分類研究

打開(kāi)文本圖片集

摘 要：由于現(xiàn)有其他模型存在無(wú)法提取文本重點(diǎn)部分權(quán)重等問(wèn)題，導(dǎo)致了模型分類不準(zhǔn)確，難以適應(yīng)航天文本分類工作中繁重的工作環(huán)境。因此，在融合BERT預(yù)訓(xùn)練模型和LSTM神經(jīng)網(wǎng)絡(luò)模型基礎(chǔ)上，結(jié)合多特征嵌入和多網(wǎng)絡(luò)融合方法構(gòu)建BERT-LSTM模型，使用BERT模型將輸入的文本轉(zhuǎn)換為詞向量，然后將文本序列的詞向量拼接成矩陣，之后采用不同尺寸的卷積核進(jìn)行卷積操作，將得到的最大特征組成特征向量集合，再輸入到Bi-LSTM層進(jìn)行序列建模，并采用自注意力來(lái)捕捉全局信息中的關(guān)鍵信息，進(jìn)一步提高關(guān)鍵特征在文本分類中的權(quán)重。（剩余17224字）