基于塊坐標(biāo)下降法的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法

打開文本圖片集

摘要：

針對(duì)當(dāng)前一階優(yōu)化算法收斂速度慢，對(duì)學(xué)習(xí)率依賴性強(qiáng)和二階優(yōu)化方法復(fù)雜度高等問題，利用神經(jīng)網(wǎng)絡(luò)固有的可分性，提出遞歸最小二乘與梯度下降的混合算法（Hybrid Recursive Least-Squares with Stochastic Gradient Descent，HRLSGD），將原本復(fù)雜的網(wǎng)絡(luò)模型分解為更易解決的低維優(yōu)化問題。（剩余7054字）