Dec, 2019

并行重启SPIDER -- 与最优计算复杂度的通信高效分布式非凸优化

HTML
PDF
TL;DR本文提出了一种基于SPIDER梯度估计器的分布式算法，可用于处理随机的平滑、非凸优化问题，该算法结合了最优化方差减少技术与并行 SGD 算法，优化了可以用于联邦学习的非相同分布的数据的模型，提出的算法具有最优迭代复杂度复杂度，并实现了与现有方法相同的线性加速。
发现论文，激发创造
  • 并行 SGD 动态批大小在随机非凸优化中的计算与通信复杂度

    研究使用动态批量大小的分布式优化在随机非凸优化中实现线性加速和收敛率优化。

    May, 2019

  • 周期平均的本地随机梯度下降：更紧密的分析和自适应同步

    本文研究了一种名为local distributed SGD的分布式优化算法，其中数据在计算节点之间进行划分，计算节点进行本地更新，定期交换模型以进行平均化，并对其进行收敛分析，结果表明它可以大大降低通信成本并且适用性比当前理论推测的更为广泛，同时提出了一种自适应同步方案，验证理论和方案的实验结果在AWS EC2云和内部GPU集群上运行良好。

    Oct, 2019

  • 联邦学习中局部下降方法的收敛性

    本文旨在研究在异构样本上进行非凸优化的联邦分布式学习，具体而言，我们将分析分布式方法相对于均匀样本中的隐含方差减少特性在异构样本中的应用，并证明其在广义的非凸和条件下的收敛性与最优性.

    Oct, 2019

  • D-SPIDER-SFO: 非凸问题快速收敛的分布式优化算法

    提出一种分散化版本的SPIDER-SFO算法（D-SPIDER-SFO），该算法在解决非凸优化问题时具有与其集中化版本相似的计算复杂度，达到了解决分散化网络中非凸优化问题的最先进水平，具有非常高的效率。

    Nov, 2019

  • 用于非凸联邦优化的随机梯度方法的统一分析

    本文研究了SGD变体在平滑非凸情况下的表现，并提出了一种通用的假设模型来精确建模随机梯度的二阶矩，并给出了所有满足统一假设的方法的单一收敛分析。此外，作者提出了两种新的通用算法框架来处理分布式/联邦非凸优化问题，并说明这些方法均满足他们的统一假设，因此这个统一的收敛分析也包括了许多利用压缩通讯的分布式方法。最后，文章提供了一种在PL条件下获得更快线性收敛速度的统一分析。

    Jun, 2020

  • 压缩联邦学习：统一分析和精确保证

    通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

    Jul, 2020

  • DESTRESS：计算最优和通信高效的分散非凸有限和优化

    本文研究非凸有限和优化中的去中心化算法，通过局部损失函数的累加最小化来匹配中心化算法的一阶马鞍点，并提供DEcentralized STochastic REcurSive gradient methodS（DESTRESS）的算法来实现通信效率和资源效率的提高。

    Oct, 2021

  • DASHA：分布式非凸优化，包含通信压缩，最优化 Oracle 复杂度，无须客户端同步

    我们开发和分析了DASHA：一种新的非凸分布式优化问题方法，同时考虑了通信复杂度和理论oracle。我们的新方法改善了以前的最先进的方法，特别是在有限和期望形式的本地函数的情况下。新的方法发送压缩向量，并且永远不会同步节点，这使得它们对联邦学习更加实用。我们还将结果扩展到满足Polyak-Lojasiewicz条件的情况。在分类和深度学习模型的培训实验中，实践证实了我们的理论。

    Feb, 2022

  • Freya PAGE: 大规模非凸有限和优化中的首个最优时间复杂性与异步计算的异构

    该研究论文介绍了一种名为Freya PAGE的新的并行方法，用于处理异构和异步计算情况下的非凸有限和问题，该方法具有较强的鲁棒性，通过忽略慢速计算和对付异常值，相比之前的方法包括异步SGD、Rennala SGD、SPIDER和PAGE，具有显著改善的时间复杂度保证。它还提供了一种新颖的随机梯度收集策略，并建立了异步设置下平滑非凸有限和问题的时间复杂性下界，证明了Freya PAGE在大规模情况下的最优性。

    May, 2024

  • 分布式优化加速：基于原始对偶视角的局部步骤

    在分布式机器学习中，有效地进行具有不同数据分布的多个代理的训练面临着重大挑战。本研究解决了分布式优化问题中的集中式和分散式设置，并提出了一种基于原始对偶方法的新方法，即（加速）梯度上升的多随机梯度下降（GA-MSGD），它自然地融合了本地更新，实现了线性收敛，并且几乎达到了最优的通信复杂性。

    Jul, 2024