Jan, 2019

DADAM：基于共识的分布式自适应梯度方法进行在线优化

PDF
TL;DR提出了一种分布式的自适应优化方法 (extsc {Dadam})，它允许数据并行计算和分散的计算，在某些损失函数的应用中能够优于集中式自适应算法。
adagradrmspropadamdistributed adaptive moment estimation methodonline optimization
发现论文，激发创造
  • 自适应一致性 ADMM 分布式优化

    本文研究了分布式交替方向乘子法，提出了使用不同的优化参数来提高算法性能的方法，并引入了自适应一致性交替方向乘子法来自动调节期权参数，最终获得了 O（1 /k）的收敛速度。

    Jun, 2017

  • Adam：一种随机优化方法

    Adam 是一种用于基于梯度的随机目标函数优化的算法，它基于低阶矩的自适应估计。该算法易于实现、计算效率高、占用内存少，在对梯度进行对角重缩放时不变，并且非常适合在数据和 / 或参数方面比较大的问题。此外，它也适合于非平稳目标和存在噪声和 / 或稀疏梯度的问题。该算法的超参数具有直观解释，并且通常需要很少的调整。实证结果表明 Adam 在实践中效果良好，并且与其他随机优化方法相比具有优势。此外，还讨论了一种基于无穷范数的 Adam 变体 AdaMax。此外，我们还分析了该算法的理论收敛性质，并提供了一个和在线凸优化框架下已知最好的收敛速率相当的遗憾界。

    Dec, 2014

  • 基于不精确共识 ADMM 的多智能体分布式优化

    本文探讨了在信号处理等领域中出现的多智能体分布式共识优化问题，并提出了与经典共识子梯度方法相比，收敛速度更快但计算复杂度更高的 ADMM 算法。同时，通过引入一步不精确计算的方法，降低了 ADMM 的计算复杂度，并证明了该算法具有良好的收敛性能。

    Feb, 2014

  • 大规模优化的异步分布式 ADMM 算法与收敛分析 - 第一部分

    本文研究了基于 ADMM 的分布式优化方法，提出了一种异步 ADMM 算法，可以有效提高分布式计算的时间效率，同时通过对算法参数的适当选择，可以保证算法收敛到 Karush-Kuhn-Tucker（KKT）点集。

    Sep, 2015

  • 通过缩放进行自适应的本地方法

    本文旨在将局部训练技术与自适应方法相结合，以开发高效的分布式学习方法，并通过训练神经网络实验验证了方法的性能。

    Jun, 2024

  • 一种自适应瞬时边界方法用于随机学习

    本文提出了 AdaMod 方法来限制 Adam 方法中出现的极端学习率问题，实现深度神经网络的稳定而高效训练，对于复杂网络，如 DenseNet 和 Transformer，与 Adam 方法相比，AdaMod 方法带来了显著的改进。

    Oct, 2019

  • 分布式优化自适应惩罚快速 ADMM 算法

    本文提出了一种新的方法来加速 ADMM 的收敛速度，通过自动决定每次迭代中需要的约束惩罚来加速收敛速度，并且还提出了一种方法，可以自适应地确定更新惩罚所需的最大迭代次数。这种方法可以有效地引导分布式优化的自适应动态网络拓扑，其在合成和真实数据，以及计算机视觉的应用方面得到了证明。

    Jun, 2015

  • 基于共轭梯度类自适应矩估计优化算法的深度学习

    通过将共轭普通梯度方法与 Adam 相结合，提出了一种名为 CG-like-Adam 的用于深度学习的新型优化算法，以加速训练并提升深度神经网络的性能。在该算法中，用共轭普通梯度方法替代了 Adam 的一阶和二阶矩估计，数值实验证明了该算法在 CIFAR10/100 数据集上的优越性。

    Apr, 2024

  • 一种通用的分布式双坐标优化框架用于正则化损失最小化

    本文提出了一个新的分布式双重正则化损失函数最小化问题的方法，可以直接处理数据并行性，并允许系统地导出二次坐标优化过程。通过这个新的公式，我们开发了分布式替代双重最大化（DADM）的加速版本，并提供了理论上的性能分析，发现其性能明显优于以前的分布式坐标优化算法。

    Apr, 2016

  • 通过稀疏和对齐的自适应优化实现通信高效的联邦学习

    基于稀疏的共享稀疏掩码（SSM）的稀疏 FedAdam 算法（FedAdam-SSM）在联邦学习中表现出了快速的收敛速度和较高的测试准确性。

    May, 2024