大规模阻尼自然梯度下降的高效数值算法

Oct, 2023

Efficient Numerical Algorithm for Large-Scale Damped Natural Gradient Descent

Yixiao Chen, Hao Xie, Han Wang

TL;DR我们提出了一种新的算法，用于在参数数量明显超过可用样本数量的大规模场景中高效解决阻尼 Fisher 矩阵的问题，这对于自然梯度下降和随机重新构建来说非常重要。我们的算法基于 Cholesky 分解，具有广泛的适用性，并且基准结果表明该算法比现有方法快得多。

Abstract

We propose a new algorithm for efficiently solving the damped fisher matrix in large-scale scenarios where the number of parameters signif

发现论文，激发创造

使用 Levenberg-Marquardt 的 Gauss-Newton 和自然梯度方法，解决深度神经网络大量变量和海量数据集所产生的非凸优化问题，证明方法能够有效实现并提出数值结果。

Jun, 2019

本文介绍了使用本地参数坐标的自然梯度下降法及其在协方差参数化中的应用，为深度学习、变分推断和进化策略等问题的可伸缩结构几何方法开辟了新方向。

Feb, 2021

本研究提出了一种基于亚梯度方法和快速增量 SVD 更新的矩阵优化模型，通过使用高效的并行线性代数操作，执行廉价迭代，保持低秩因子分解迭代，因此在矩阵完成设置中生成预测时非常有效。

Jun, 2012

通过使用二阶信息的标准化梯度下降法（NormGD）来解决参数估计问题，可以在样本量 n 的对数数量级内收敛，从而实现了达到最终统计半径的最优总体计算复杂度 O (n)。

Feb, 2022

该研究论文介绍了一种扩展的阻尼块牛顿法，用于解决神经网络中包含质量矩阵的线性方程组，以及求解非线性参数的方法，该方法在计算代价上具有较高效性，并且优于 BFGS 算法。

Jul, 2024

本文提出一种新算法 ScaledGD，它是梯度下降方法的预处理或对角线缩放版本，其预处理器是自适应且具有最小的计算开销，在低秩矩阵感知，鲁棒主成分分析和矩阵完成等任务中实现了线性收敛，具有优秀的性能表现。

May, 2020

本研究论文介绍了一种名为 ScaledGD 的新算法，通过合适的预处理能够快速收敛于低秩对象，并在多种任务中保持梯度下降的低迭代成本，同时无论条件数如何，都能以恒定速率线性收敛，突出了在加速非凸统计估计中适当预处理的能力。

Oct, 2023

本研究提出了一种名为 FNGD 的快速自然梯度下降方法，通过在第一个迭代周期内计算逆运算，避免了在每次迭代中计算逆运算，从而使计算复杂度接近于一阶方法。通过在图像分类和机器翻译任务上进行实证评估，证明了所提出的 FNGD 方法的高效性。

Mar, 2024

探讨了自然梯度下降法作为一种二阶优化方法的性质及其在实际应用中的影响，强调了将技术如信任区域和 Tikhonov 正则化等融入实际优化器设计中的必要性。

Dec, 2014

该论文介绍了如何加速随机坐标下降方法，提高收敛速度，同时又不用支付每次迭代的代价。它提出了一个新的通用方法，并证明它的收敛性，并在多个领域中获得更快的渐近运行时间。

May, 2013