Oct, 2021

置换压缩器用于证明更快分布式非凸优化

PDF
TL;DR本文研究了 Gorbunov 等人（2021 年）提出的 MARINA 方法，该方法利用精心设计的带偏置的随机梯度估计器和独立的随机通信压缩算子以最小化交流轮数和每轮传输的比特数，并将理论分析扩展到更广泛的相关压缩器的设置，引入 Hessian variane 的概念以及使用该方法的 Perm$K$ 压缩器类，理论上实现了较好的通信复杂性，并使用合成实验验证了该理论结果。
marina methoddistributed optimizationcommunication complexitystochastic gradient estimatorhessian variance
发现论文，激发创造
  • MARINA：使用压缩提升非凸分布式学习速度

    本文提出了一种新的、基于压缩梯度差异的分布式学习方法 MARINA，并分别从理论和实践层面证明了该方法的优越性，特别是利用了偏梯度估计器和局部参与等特性。

    Feb, 2021

  • 改进非凸分布式优化下函数相似性的最坏情况双向通信复杂度

    通过提出 MARINA-P 方法，利用相关压缩器实现下行压缩，在纯净的上行通信成本可以忽略的情况下，从服务端到工作者的通信复杂度可以随着工作者数量而改进，这种方法在支持双向压缩的方法中有着明显的改进，理论和实验结果都证明了所提算法的高效性。

    Feb, 2024

  • 相关量化用于更快的非凸分布式优化

    利用相关量化器，我们分析并改进了 MARINA 优化算法，提高了通信复杂度，并且通过实验证实了我们的理论发现。

    Jan, 2024

  • DASHA：分布式非凸优化，包含通信压缩，最优化 Oracle 复杂度，无须客户端同步

    我们开发和分析了 DASHA：一种新的非凸分布式优化问题方法，同时考虑了通信复杂度和理论 oracle。我们的新方法改善了以前的最先进的方法，特别是在有限和期望形式的本地函数的情况下。新的方法发送压缩向量，并且永远不会同步节点，这使得它们对联邦学习更加实用。我们还将结果扩展到满足 Polyak-Lojasiewicz 条件的情况。在分类和深度学习模型的培训实验中，实践证实了我们的理论。

    Feb, 2022

  • 分布式随机优化中的下限与通信压缩加速算法

    本文研究了利用通信压缩的分布式随机优化算法的性能上限，并提出了 NEOLITHIC 算法，该算法在温和条件下实现所建立的理论下限。

    May, 2023

  • 具有理论保证的压缩通信分布式求解变分不等式方法

    本文介绍了使用压缩通信解决变分不等式和鞍点问题的分布式方法：MASHA1 和 MASHA2，并通过两个实验验证了结论的正确性。

    Oct, 2021

  • 分布式随机方差减少梯度方法与通信复杂度下限

    本论文研究了用于最小化凸函数平均值的分布式优化算法，应用于统计机器学习的经验风险最小化问题。我们设计了一种分布式随机方差减少梯度算法，其在条件数方面同时增强了最佳并行运行时间、通信量和所有分布式一阶方法的通信轮数。此外，当条件数相对于每个机器中的数据大小不太大时，我们的方法及其加速扩展还可以优于现有的分布式算法，此外，还证明了广泛分布的课程的有关通信轮数的下限。我们证明了我们的加速分布式随机方差减少梯度算法实现了这一下限，从而它使用最少的通信轮数。

    Jul, 2015

  • 带梯度剪裁和通信压缩的分散非凸优化的收敛和隐私性

    本文利用 PORTER 方法对去中心化的机器学习使用通信压缩和梯度裁剪进行了研究，并提供了更好的收敛保证，同时也突出了收敛速度、压缩比率、网络连通性和隐私之间的权衡。

    May, 2023

  • 方差降低是拜占庭问题的解药：更好的收敛速率，较弱的假设条件，以及通信压缩作为锦上添花

    本研究提出了一种名为 Byx-VR-MARINA 的新的拜占庭容错方法，其中方差降低是更有效地对抗拜占庭工人的关键，而通信压缩是使过程更具通信效率的奖励。这项工作还对非凸和 Polyak-Lojasiewicz 损失函数的拜占庭容忍方法进行了理论上的收敛保证。

    Jun, 2022

  • 并行重启 SPIDER -- 与最优计算复杂度的通信高效分布式非凸优化

    本文提出了一种基于 SPIDER 梯度估计器的分布式算法，可用于处理随机的平滑、非凸优化问题，该算法结合了最优化方差减少技术与并行 SGD 算法，优化了可以用于联邦学习的非相同分布的数据的模型，提出的算法具有最优迭代复杂度复杂度，并实现了与现有方法相同的线性加速。

    Dec, 2019