BriefGPT.xyz
Ask
alpha
关键词
second-order optimization methods
搜索结果 - 3
Krylov 立方正则牛顿:一种无维度收敛速度的子空间二阶方法
该研究介绍了一种新的子空间三阶正则牛顿方法,其在解决凸优化问题时具有与维度无关的全局收敛速度,并且在特定谱条件下能恢复到完全维度的三阶正则牛顿方法的收敛速度,数值实验表明该方法比现有的随机子空间方法收敛更快,尤其在高维问题上。
PDF
6 months ago
自然梯度的痕迹限制克罗内克 - 分解近似
本文提出了一种新的用于训练深度神经网络的二阶优化方法,叫做 TKFAC(Trace-restricted Kronecker-factored Approximate Curvature),其包括对 Fisher 信息矩阵的逼近和新的阻尼技
→
PDF
4 years ago
ICLR
将随机梯度推向二阶方法 —— 通过非线性变换的反向传播学习
本研究提出针对神经网络的三个转换方法,以近似二阶优化方法提高学习速度,但第三个转换可能因收敛到局部最优解且隐藏神经元的输入和输出接近零而对性能造成损害。
PDF
11 years ago
Prev
Next