TextRank-BERT-LDA短文本主題挖掘模型

打開文本圖片集

摘要：傳統(tǒng) LDA（Latent Dirichlet Allocation，潛在狄利克雷分配） 主題模型在處理商品評論短文本時，由于特征稀疏和主題混雜問題，表現(xiàn)不佳。文章提出了一種新型短文本主題模型 TextRank-BERT-LDA。該模型利用 TextRank 算法提取商品屬性相關(guān)關(guān)鍵詞并分割評論，有效解決了主題混雜問題；通過 BERT（Bidirectional Encoder Representations from Transformers，基于雙向 Transformer 的預(yù)訓(xùn)練語言模型） 計算句子間的相似性并進行聚類，擴充短文本的特征表示。（剩余9505字）