Aug, 2023

面向分布式学习的资源适应性牛顿法

PDF
TL;DR通过采用简单的 Hessian 初始化和自适应训练区域分配，本论文介绍了一种名为 RANL 的新颖高效算法，该算法克服了 Newton 方法在大规模和异构学习环境中的限制，展现了出色的收敛性能，有效地适应可用资源并保持高效率，使其成为实际场景中的分布式随机优化的有希望的方法。
distributed stochastic optimizationnewton's methodranlconvergence propertiesadaptive assignments
发现论文，激发创造
  • 大规模分布式学习中的拟牛顿更新

    开发了具有卓越统计分析、计算和通信效率的分布式拟牛顿（DQN）框架，无需 Hessian 矩阵倒置或通信，在小数次迭代下提供了统计效率的结果，强调与现有方法的差别在于对统计学性质的调查。

    Jun, 2023

  • 使用近似牛顿法的通信高效分布式优化

    本研究提出了适用于分布式优化的一种新的 Newton 类方法，特别适用于随机优化和学习问题。对于二次目标，该方法的收敛速度呈现线性，可以按照数据规模得到改善，基于合理假设需要基本恒定次迭代。本文提供了理论和实证证据，表明我们的方法比其他方法，如单次参数平均和 ADMM，具有优势。

    Dec, 2013

  • 一个可靠的分布式二阶算法

    本文提出了一种新的分布式广义线性模型训练算法，只需计算各工作器上的 Hessian 矩阵的对角块，然后提出了一种自适应方法以应对近似信息并展示了其在多个基准数据集上表现出的最新结果并显著优于现有算法。

    Jun, 2018

  • LocalNewton: 减少分布式学习中通信瓶颈

    提出一种名为 LocalNewton 的分布式二阶算法，使用本地平均法，通过使用本地存储的数据和模型，让工作机器每个迭代更新其模型并在许多本地迭代后将模型传输给主节点。使用新颖的基于矩阵聚焦的技术，提出自适应方案选择本地迭代次数 L，使用实验表明相对于现有算法该方法可以显著减少通信次数和运行时间。

    May, 2021

  • adaQN: 一种适应性拟牛顿算法用于训练循环神经网络

    本篇论文提出了一种名为 adaQN 的随机拟牛顿算法，用于解决循环神经网络 (RNN) 训练中的梯度消失 / 爆炸问题，该方法使用了一种新的 L-BFGS 缩放初始化方案，并且在存储和保留 L-BFGS 曲率对方面非常明智，实践表明 adaQN 与流行的 RNN 训练算法有相当的竞争力。

    Nov, 2015

  • Network-GIANT：基于谐波 Hessian 共识的完全分布式 Newton 型优化

    介绍了一种基于网络的全新的分布式优化算法 Network-GIANT，它使用了类似 GIANT 的联邦学习算法，基于梯度跟踪和牛顿迭代算法的组合设计，并保证了在强凸光滑损失函数假设下的半全局指数收敛性，相比其他分布式学习算法提高了收敛性能。

    May, 2023

  • 学习（通过）分布优化

    本文概述了分布式优化技术的历史发展轨迹，从 20 世纪 60 年代 Dantzig、Wolfe 和 Benders 开创的基于对偶的方法追溯到增广拉格朗日交替方向不精确牛顿（ALADIN）算法的出现。该文重点介绍了凸问题的拉格朗日松弛和分解策略，改进了诸如交替方向乘子法（ADMM）之类的方法。2000 年代末期，分布式优化在机器学习和图像等领域重新引起了人们的兴趣，ADMM 方法表现出了实际的有效性和统一潜力。本文还强调了近端中心方法的出现及其在不同领域的应用。此外，本文着重介绍了 ALADIN 的独特特点，该算法在非凸场景下无需引入辅助变量即可提供收敛性保证，与传统的增广技术有所区别。总之，这项工作总结了分布式优化的历史轨迹，并强调了 ALADIN 在应对非凸优化挑战方面的有希望前景。

    Aug, 2023

  • SPAN：一种随机投影近似牛顿法

    本文提出了一种快速的二阶优化算法 SPAN, 通过低秩逼近和随机海森向量相乘的方式来计算黑塞矩阵的逆，实验结果证明 SPAN 在多个基准数据集上优于现有的一阶和二阶优化算法，同时提供了每次迭代的复杂度、逼近误差和收敛速度的理论分析，表明 SPAN 在收敛速度和每次迭代效率之间取得了更好的平衡。

    Feb, 2020

  • FedNL: 将牛顿类方法应用于联邦学习

    本研究提出了一族 Federated Newton Learn 方法，它不仅能够使用于广义线性模型，还可应用于压缩本地 Hessians 等通用收缩压缩算子，具有隐私增强和通信效率等优点，并以实验证明了其与关键基线相比具有卓越的通信复杂度。

    Jun, 2021

  • Higher-Order Markov 随机场推断的 Newton 型方法

    本文研究了使用 Newton 型方法求解 Lagrangian dual 问题的优越性，显示了可应用于广泛范围的 map 推理问题的收敛性，给出了一个高效且收敛的框架来优化高阶 Markov 随机场。

    Sep, 2017