May, 2023

KrADagrad：克罗内克近似主导梯度预处理随机优化

PDF
TL;DR该论文提出了一种新颖的矩阵分解方法 Kronecker Approximation-Domination (KrAD)，用于直接近似实验 Fisher 矩阵的逆，避免了反转和 64 位精度，从而实现与 Shampoo 相似的计算成本和相同的 regret，同时在 32 位精度下比 Shampoo 表现更好。
发现论文，激发创造
  • 在克罗内克分解的特征基上进行快速近似自然梯度下降

    本研究提出了一种基于 Kronecker 分解的特殊的对角方差近似算法，可以提高多层神经网络的优化速度。

    Jun, 2018

  • 洗发水前置护理新视角

    Shampoo 是一种二阶优化算法，使用 Kronecker 积预处理器，它近来引起了机器学习界的广泛关注。我们提供了 Shampoo 的最佳 Kronecker 积近似与 Shampoo 使用的近似之间的明确而新颖的联系。我们通过各种数据集和架构的实证研究，证明这种近似非常接近最佳的 Kronecker 积近似。此外，我们还通过实证研究探讨了在 Hessian 近似视角下使用各种实用技巧（如使用批量梯度和经验 Fisher）来提高 Shampoo 的计算效率对 Hessian 近似质量的影响。

    Jun, 2024

  • 自然梯度的痕迹限制克罗内克 - 分解近似

    本文提出了一种新的用于训练深度神经网络的二阶优化方法，叫做 TKFAC（Trace-restricted Kronecker-factored Approximate Curvature），其包括对 Fisher 信息矩阵的逼近和新的阻尼技术，在实验中表现优异。

    Nov, 2020

  • 用 Kronecker 分解的近似曲率优化神经网络

    提出一种名为 K-FAC 的方法来近似神经网络中的自然梯度下降，该方法基于一种高效的逆近似方法来近似神经网络的 Fisher 信息矩阵，它既不是对角线矩阵也不是低秩矩阵，与先前提出的近似自然梯度 / 牛顿方法相比，K-FAC 在高度随机的优化方案中的表现非常好。

    Mar, 2015

  • 卷积层 Kronecker 分解近似 Fisher 矩阵

    本文提出了基于结构化概率模型的 KFC 来近似求解卷积网络的 Fisher 矩阵，采用 Kronecker deomposition 来使得每个块都是小矩阵，从而实现更快的求逆和更高效的训练。实验表明，KFC 能够比 SGD 更快的训练卷积网络，具有在分布式环境中应用的潜力。

    Feb, 2016

  • 香波：预条件随机张量优化

    本文提出了一种称为 Shampoo 的新型结构感知预处理算法，用于随机优化的张量空间，该算法在单个维度上操作一组预处理矩阵，并收缩剩余维度，实验证明其比常用优化器收敛速度更快。

    Feb, 2018

  • AGD：一种使用逐步梯度差分的自动可切换优化器用于预调整矩阵

    我们提出了一种新的自适应优化器 AGD，它利用梯度差异作为对角元素来设计预条件矩阵，并引入了自动切换功能，能够在不同场景下自动切换 SGD 和自适应优化器，实现更好的泛化性能。

    Dec, 2023

  • Sketchy: 频率方向的内存高效自适应正则化

    通过使用 Frequent Directions sketch 低秩技术，可以减少维护矩阵预处理器的内存和计算量，并在多个大规模基准测试中展示出较好的内存 - 质量 Pareto 前沿。

    Feb, 2023

  • 通过缩放梯度下降可证明地加速病态低秩估计，即使过度参数化

    本研究论文介绍了一种名为 ScaledGD 的新算法，通过合适的预处理能够快速收敛于低秩对象，并在多种任务中保持梯度下降的低迭代成本，同时无论条件数如何，都能以恒定速率线性收敛，突出了在加速非凸统计估计中适当预处理的能力。

    Oct, 2023

  • 通过缩放梯度下降加速恶态低秩矩阵估计

    本文提出一种新算法 ScaledGD，它是梯度下降方法的预处理或对角线缩放版本，其预处理器是自适应且具有最小的计算开销，在低秩矩阵感知，鲁棒主成分分析和矩阵完成等任务中实现了线性收敛，具有优秀的性能表现。

    May, 2020