基于高效調(diào)優(yōu)方法的統(tǒng)一高效微調(diào)架構(gòu)及應(yīng)用
打開文本圖片集
摘 要：為解決大規(guī)模參數(shù)調(diào)優(yōu)問題，一系列高效微調(diào)方法誕生，但是在整合不同高效微調(diào)方法形成有效統(tǒng)一整體方面還存在挑戰(zhàn)。此外，統(tǒng)一調(diào)優(yōu)思想在視覺任務(wù)中的應(yīng)用仍然不足。因此，提出統(tǒng)一參數(shù)高效微調(diào)架構(gòu)ETTA（efficient Transformer tuning architecture）。首先通過適配器與前綴調(diào)優(yōu)工作原理的相似性，得出兩種方法整合形成統(tǒng)一調(diào)優(yōu)架構(gòu)的合理性；其次，在適配器選擇上，選用效果更好的并行適配器，同時對前綴調(diào)優(yōu)引入可調(diào)標(biāo)量得到縮放前綴調(diào)優(yōu)變體；然后將兩種方法整合形成統(tǒng)一調(diào)優(yōu)架構(gòu)ETTA，把并行適配器作用于Transformer前饋神經(jīng)網(wǎng)絡(luò)層并設(shè)置較大瓶頸維數(shù)，縮放前綴調(diào)優(yōu)作用于多頭注意力層并設(shè)置較小可調(diào)前綴向量數(shù)；最后將ETTA用于6個圖像分類或目標(biāo)檢測任務(wù)，并與三種調(diào)優(yōu)策略進行性能比較。（剩余17326字）