Jul, 2023

在分散式随机组合极小化优化中实现线性加速

PDF
TL;DR通过开发一种新的具有动量的分布式随机组合梯度下降上升算法，我们解决了分布式组合极小化问题中内层函数的共识误差，并证明了其能够实现线性加速。我们相信这种算法设计能够促进分布式组合优化的发展。对于不平衡分类问题，我们的广泛实验结果证明了算法的有效性。
stochastic compositional minimax problemdecentralized optimization algorithmsgossip communication strategyconsensus errorimbalanced classification problem
发现论文，激发创造
  • 具有水平无关收敛速度的网络随机多级组合优化算法

    探讨了针对多层分布式部署的随机优化问题的两种新的分布式优化算法，并在理论上和实验中验证了两种算法的有效性。

    Jun, 2023

  • 突破组合极小化优化中的复杂性壁垒

    本文介绍了一种名为 ADA-NSTORM 的方法，利用自适应学习率来解决组合型最小极大优化问题，并且通过实验证明了其比 NSTORM 更有效。该方法在没有大批次要求的情况下，与最小极大优化的下限相匹配，显著推动了组合型最小极大优化的发展，这是保证分布鲁棒性和策略评估的关键能力。

    Aug, 2023

  • 随机组合优化问题的解决几乎像解随机优化问题那么简单

    本文提出了一种新的 Stochastically Corrected Stochastic Compositional 梯度方法 (SCSC)，该方法可应用于用于强化学习和元学习等应用中的随机组合优化问题，并使用 SGD 的改进来加速收敛。

    Aug, 2020

  • 去中心化随机极小极大优化算法是否能以线性收敛于有限和的非凸非凹问题？

    本文针对分布式算法模型中面临的发散问题，提出了两种基于随机梯度下降的算法，并证明了其具有良好的收敛性能，这是首个针对分布式情况下的凸 - 非凸问题的线性收敛性的成果。

    Apr, 2023

  • 随机组合梯度下降算法的稳定性和概化能力

    通过统计学习理论的算法稳定性角度，本文提供了随机组合梯度下降算法的稳定性和泛化分析，包括引入组合均匀稳定性的概念、建立其与复合优化问题泛化性能的定量关系、针对两种常用的随机组合梯度下降算法 SCGD 和 SCSC 建立组合均匀稳定性结果，并通过权衡稳定性结果和优化误差，导出了 SCGD 和 SCSC 的维度无关的超额风险界限。据我们所知，这是第一次关于随机组合梯度下降算法稳定性和泛化分析的结果。

    Jul, 2023

  • 用于复合非凸强凹极小极大问题的分散梯度下降最大化方法

    本研究提出了一种基于去除双重共识规范的新颖分散极小极大问题重建方法，可以解决具有较高非光滑性和复杂性的问题，通过数值实验表明，所提出的算法具有较高的性能和效率。

    Apr, 2023

  • 分散优化中平滑强凸问题的最优实用算法

    本文提出了两种基于加速的前后向算法的分散优化新算法以解决存储在网络节点上的光滑强凸函数之和的最小化问题，并显示它们是最优的算法，具有复杂性的保证。

    Jun, 2020

  • 随机组合优化加速

    提出一种新的随机优化方法，即加速随机复合近端梯度方法（ASC-PG）来解决随机组合优化问题。该方法能够处理非平滑正则化惩罚，并在几个重要特例中达到最优样本误差复杂度，而且应用于强化学习具有良好的表现。

    Jul, 2016

  • 分布式线性回归与组合协变量

    在大数据领域中，我们提出两种分布式优化技术，用于解决分布式统计方法和计算的问题；同时，我们还介绍了一种基于 Group ADMM 算法的分布式坐标下降算法，以获得通信效率高的正则化估计。实验证明了我们提出算法的有效性。

    Oct, 2023

  • 随机嵌套复合双层优化，用于稳健的特征学习

    该研究开发和分析了用于解决嵌套复合双层优化问题的随机逼近算法，并利用 Neumann 级数逼近来避免矩阵求逆，以实现对于存在偏差的随机梯度的稳定解决方案，研究成果具有在深度神经网络中应用鲁棒特征学习等方面的实际优势。

    Jul, 2023