Jun, 2024

洗发水前置护理新视角

PDF
TL;DRShampoo 是一种二阶优化算法，使用 Kronecker 积预处理器，它近来引起了机器学习界的广泛关注。我们提供了 Shampoo 的最佳 Kronecker 积近似与 Shampoo 使用的近似之间的明确而新颖的联系。我们通过各种数据集和架构的实证研究，证明这种近似非常接近最佳的 Kronecker 积近似。此外，我们还通过实证研究探讨了在 Hessian 近似视角下使用各种实用技巧（如使用批量梯度和经验 Fisher）来提高 Shampoo 的计算效率对 Hessian 近似质量的影响。
发现论文，激发创造
  • 香波：预条件随机张量优化

    本文提出了一种称为 Shampoo 的新型结构感知预处理算法，用于随机优化的张量空间，该算法在单个维度上操作一组预处理矩阵，并收缩剩余维度，实验证明其比常用优化器收敛速度更快。

    Feb, 2018

  • KrADagrad：克罗内克近似主导梯度预处理随机优化

    该论文提出了一种新颖的矩阵分解方法 Kronecker Approximation-Domination (KrAD)，用于直接近似实验 Fisher 矩阵的逆，避免了反转和 64 位精度，从而实现与 Shampoo 相似的计算成本和相同的 regret，同时在 32 位精度下比 Shampoo 表现更好。

    May, 2023

  • 高效内存网络训练的 4 位洗发水

    提出了首个 4 位二阶优化器，示例为 4 位 Shampoo，其性能与 32 位相似；通过量化预处理器的特征向量矩阵，改善近似性和计算的效果，同时实现更高的存储效率。

    May, 2024

  • 用于大规模训练神经网络的分布式数据并行 PyTorch 实现的分布式 Shampoo 优化器

    Shampoo 是一种在线和随机优化算法，属于 AdaGrad 方法家族，用于训练神经网络。它构建了一个块对角预处理器，其中每个块都由神经网络的每个参数的粗糙 Kronecker 乘积逼近所组成。我们提供了该算法的完整描述，以及我们实现中利用 PyTorch 进行规模化训练的性能优化。我们的实现通过在每次迭代中通过 PyTorch 的 DTensor 数据结构分配与每个参数块相关的内存和计算，并在计算的搜索方向上执行 AllGather 原语，从而实现快速的多 GPU 分布式数据并行训练。这种主要的性能提升使我们能够实现与标准的对角缩放自适应梯度方法相比每步墙钟时间最多降低 10% 的性能。我们通过在训练 ImageNet ResNet50 上进行消融研究来验证我们的实现，展示了 Shampoo 在最小超参数调整下对标准训练配方的优越性。

    Sep, 2023

  • 核矩阵预处理

    提出了一种用于核机器的预处理共轭梯度方法，利用预处理器优化了核矩阵的条件数，提高了算法收敛性能和可扩展性。在迭代次数的极限下，该方法精确度高于现有的近似算法，同时在相同的计算成本下，该方法较之前方法表现更好。

    Feb, 2016

  • 曲率信息的 SGD：通过通用李群预条件器

    提出了一种新的方法，通过利用从海森矩阵向量积或参数和梯度的有限差分得到的曲率信息，类似于 BFGS 算法，加速随机梯度下降（SGD）。该方法涉及两个预条件器：一个矩阵无关的预条件器和一个低秩近似预条件器。我们使用一种对随机梯度噪声稳健且不需要线性搜索或阻尼的标准在线更新两个预条件器。为了保持相应的对称性或不变性，我们将预条件器约束为某些连通的李群。李群的等变性质简化了预条件器拟合过程，而其不变性质消除了通常在二阶优化器中需要的阻尼需求。因此，参数更新的学习率和预条件器拟合的步长在自然数值化，它们的默认值在大多数情况下都能很好地工作。我们的方法为提高 SGD 的收敛速度提供了一个有希望的方向，且计算开销较低。我们证明，在多个现代深度学习架构上，基于预条件的 SGD（PSGD）在视觉，自然语言处理和强化学习任务上优于 SoTA。本文提供了复现玩具和大规模实验的代码。

    Feb, 2024

  • 用于稀疏线性系统迭代解的图神经预处理器

    使用图神经网络作为通用预处理器，通过适当生成的训练数据更好地近似矩阵的逆，从而在解决病态问题方面表现出吸引人的性能，以及在构建时间和执行时间方面的优势，具有潜力解决来自偏微分方程、经济学、统计学、图形和优化等多个领域的大规模挑战性代数问题。

    Jun, 2024

  • 预处理随机梯度下降

    本文提出了一种新的方法，通过估计一个预条件器来加速随机梯度下降算法的收敛速度，适用于凸性和非凸性优化，具有稳定梯度降噪的效果，并且经过了大规模问题的有效预条件估计验证，可以在无需调整的情况下，高效解决深度神经网络等复杂问题

    Dec, 2015

  • 可扩展高斯过程超参数优化的预处理

    本研究介绍了一种新的算法和理论视角，通过预处理来优化计算 Gaussian 过程中超参数的对数行列式及其导数，证明了其可行性，并在大规模基准问题上进行了实证验证，取得了杰出的效果。

    Jul, 2021

  • 使用预处理改进最小二乘问题的隐式正则化 SGD

    通过对预处理的随机梯度下降（SGD）和岭回归的综合比较研究，我们建立了预处理的 SGD 和岭回归的过度风险界限，并证明了存在一个简单的预处理矩阵能够优于标准的和预处理的岭回归，从而展示了预处理的 SGD 的增强正则化效果。

    Mar, 2024