Oct, 2021

DESTRESS：计算最优和通信高效的分散非凸有限和优化

PDF
TL;DR本文研究非凸有限和优化中的去中心化算法，通过局部损失函数的累加最小化来匹配中心化算法的一阶马鞍点，并提供 DEcentralized STochastic REcurSive gradient methodS（DESTRESS）的算法来实现通信效率和资源效率的提高。
multi-agent environmentsdecentralized algorithmsfinite-sum optimizationcommunication efficiencyresource efficiency
发现论文，激发创造
  • 去中心化和随机优化的通讯高效算法

    本文提出了一种新的去中心化一阶方法解决在多代理网络上的非光滑和随机优化问题，其中主要贡献为提出了基于去中心化通讯滑动算法的去中心化原始 - 对偶算法，以解决在去中心化优化中通讯瓶颈。

    Jan, 2017

  • 一种联合梯度估计和跟踪的分散非凸优化样本和通信复杂度改进方法

    该文章提出了一种名为 D-GET 的去中心化随机算法，可以提高大规模机器学习中高度非凸问题的性能，同时在减少多节点通信轮数的同时，访问最少量的局部数据样本，以实现确定性有限和在线问题的小样本复杂度和通信复杂度，并优于现有方法的复杂度。

    Oct, 2019

  • 分散式有限和优化的最优算法

    本文提出了一种名为 ADFS 的高效分布式算法，利用局部碰撞更新和节点之间的分布式通信，在单机上运行时比现代加速随机算法要慢，但在 n 个机器上最小化目标函数与在一个机器上 m 个样本的最优算法相同的时间内完成。我们证明了 ADFS 是分散化算法中最佳的，并通过实验证明了 ADFS 相对于现有方法的改进。

    May, 2020

  • 分散优化中平滑强凸问题的最优实用算法

    本文提出了两种基于加速的前后向算法的分散优化新算法以解决存储在网络节点上的光滑强凸函数之和的最小化问题，并显示它们是最优的算法，具有复杂性的保证。

    Jun, 2020

  • 基于节点动态的分布式有限和约束非线性优化

    本文讨论了一个分布式和本地化有限和分配技术，用于解决多智能体网络上资源受限制的凸优化问题，同时考虑各种不同应用的非线性约束。

    Mar, 2022

  • 分散随机优化与梯度追踪简介

    本文综述了基于梯度追踪和方差减少的去中心化随机一阶优化方法，介绍了这些算法在去中心化机器学习模型训练中的应用。

    Jul, 2019

  • 面向更高效的随机分散式学习：更快的收敛与稀疏通信

    本研究提出了一种名为 DSBA 的随机算法，通过将分散的优化问题推广为单调算子求根问题来解决这一问题，具有线性收敛速度和只需稀疏通讯的优点，同时还能有效地处理像 AUC 最大化这样的学习问题。

    May, 2018

  • 非光滑凸分散时间变网络优化的下界与最优算法

    在时间变化的网络上，解决非光滑凸分布式优化问题时，本文首次确定了通信和子梯度计算复杂性的下界，并发展了与下界匹配且在理论性能方面明显优于现有技术的最优算法。

    May, 2024

  • 非凸分布式优化

    该研究分析分布式非凸优化问题，针对多智能体网络模型，利用一些技术假设证明分布式推送算法在目标函数的临界点处收敛，并利用扰动动力学证明扰动过程的几乎肯定收敛性。

    Dec, 2015

  • 基于原始对偶框架的去中心化随机优化

    本文提出了一种基于原始 - 对偶框架的分布式优化算法，无需使用难以构建的双重随机混合矩阵，通过维护对偶变量来跟踪相邻节点之间的差异，使用这种方法构建的分布式算法比采用梯度跟踪的算法具有更好的性能。

    Dec, 2020