電力領(lǐng)域自然語言理解模型的輕量化研究
摘 要:針對電力領(lǐng)域指標問答的應(yīng)用需求問題,研究能夠平衡性能、計算資源消耗與推理時間的自然語言理解模型。提出了在知識蒸餾的輕量化過程中融入提前停止機制的方法,利用教師模型訓練學生模型時,在每層編碼加入“耐心早退”機制,使得不同復雜度的樣本使用不同層數(shù)的編碼提取特征,減少了學生模型容易出現(xiàn)的過擬合問題,同時控制了模型的推理時間。(剩余13195字)
目錄
- 基于自注意力的時頻特征融合軸承...
- 探究文丘里管型孔板參數(shù)變化對空...
- 融合偽標簽生成與數(shù)據(jù)增強的多標...
- 知識增強的審計新聞生成式摘要模...
- 面向不平衡數(shù)據(jù)分類的DPC-S...
- 基于注意力哈希融合對比損失的鳥...
- SE-CMT語義信息補充的特征...
- 面向用戶密度的啞元位置生成算法...
- 基于多閾值帶環(huán)路模糊Petri...
- 基于GRU的數(shù)據(jù)中心溫度預(yù)測...
- 冷軋軋制力的DBO-DELM預(yù)...
- 動態(tài)網(wǎng)絡(luò)協(xié)同定位方法研究...
- 無人機UWB/IMU緊組合導航...
- 電力領(lǐng)域自然語言理解模型的輕量...
- 基于壓縮感知和貪婪算法的配網(wǎng)現(xiàn)...