基于RoBERTa的評論與評分推薦系統(tǒng)模型研究

打開文本圖片集

［摘 要］ 原始推薦系統(tǒng)的詞嵌入部分訓(xùn)練成本高昂且難以泛化，提出一種基于預(yù)訓(xùn)練模型RoBERTa的評論與評分推薦模型PANN，利用RoBERTa作為預(yù)訓(xùn)練模型，使用動態(tài)掩碼策略和字節(jié)級詞匯表進行訓(xùn)練，解決了單詞的一詞多義問題。該模型可以從輸入序列中提取特征，具有很高的泛化性能。同時，PANN模型擁有用戶和項目兩個網(wǎng)絡(luò)，這兩個網(wǎng)絡(luò)結(jié)構(gòu)相同但分別訓(xùn)練參數(shù)和提取特征。（剩余14536字）