DPC-DQRL：動(dòng)態(tài)行為克隆約束的離線-在線雙Q值強(qiáng)化學(xué)習(xí)

打開文本圖片集

摘 要：離線-在線強(qiáng)化學(xué)習(xí)旨在使用少量在線微調(diào)來提高預(yù)訓(xùn)練模型的性能。現(xiàn)有方法主要包括無約束微調(diào)與約束微調(diào)。前者往往由于分布偏移過大而導(dǎo)致嚴(yán)重的策略崩潰；后者由于保留離線約束導(dǎo)致性能提升緩慢，影響訓(xùn)練效率。為了改善上述問題，可視化對(duì)比分析兩類方法的微調(diào)過程，發(fā)現(xiàn)不準(zhǔn)確的Q值估計(jì)是影響性能的主要原因，并提出了一種動(dòng)態(tài)策略約束的雙Q值強(qiáng)化學(xué)習(xí)算法（DPC-DQRL）。（剩余23284字）