Sep, 2023

CORE: 分布式优化的通用随机重建算法及可证明低通信复杂度

PDF
TL;DR基于 Common randOm REconstruction (CORE) 技术，本研究提出了一种可以压缩传输信息、降低通信复杂度的分布式机器学习算法，并通过应用于线性模型和非凸优化等分布式任务，设计了新的具有更低通信复杂度的分布式算法。
distributed machine learningcommunication complexitycommon random reconstruction(core)convex optimizationlinear models
发现论文，激发创造
  • 一种双重残差压缩算法用于高效分布式学习

    本研究提出了 DORE 算法，通过二次残差压缩的方式，有效减少了机器学习模型在并行运算中的通信开销，提高了算法的收敛速度和通信效率。实验结果表明，DORE 算法在通信效率方面表现出色，同时保持了和先进的基准算法相当的模型准确性和收敛速度。

    Oct, 2019

  • 分布式优化的线性收敛算法：免费发送更少的比特！

    提出了一种新的基于随机压缩算子的一阶随机算法和方差约简技术，能够在去除了通信中数据量的一定压缩的前提下，快速地在分散的装置上完成模型的机器学习训练并收敛于最优解。

    Nov, 2020

  • RandCom: 随机通信跳过方法用于分散随机优化

    通过引入随机通信跳过的分布式优化方法，本文提出了一种名为 RandCom 的分散优化方法，并分析了其在随机非凸、凸和强凸环境中的性能，证明其能够通过通信概率来渐进地减少通信开销，并在节点数量增加时实现线性加速。此外，通过将 RandCom 应用于联合学习，得出了在非凸设置中实现线性加速的潜力和概率局部更新方法的适用性的积极结果。

    Oct, 2023

  • 分布式随机方差减少梯度方法与通信复杂度下限

    本论文研究了用于最小化凸函数平均值的分布式优化算法，应用于统计机器学习的经验风险最小化问题。我们设计了一种分布式随机方差减少梯度算法，其在条件数方面同时增强了最佳并行运行时间、通信量和所有分布式一阶方法的通信轮数。此外，当条件数相对于每个机器中的数据大小不太大时，我们的方法及其加速扩展还可以优于现有的分布式算法，此外，还证明了广泛分布的课程的有关通信轮数的下限。我们证明了我们的加速分布式随机方差减少梯度算法实现了这一下限，从而它使用最少的通信轮数。

    Jul, 2015

  • 随机组合核心集用于匹配和顶点覆盖

    本研究证明，匹配问题和点覆盖问题在同时通信模型中的不可承受性根源于基础图形跨机器的对抗性分区，进而展示这两个问题存在随机组分的可组合核的对数 O (n)。

    May, 2017

  • 分布式随机优化中的下限与通信压缩加速算法

    本文研究了利用通信压缩的分布式随机优化算法的性能上限，并提出了 NEOLITHIC 算法，该算法在温和条件下实现所建立的理论下限。

    May, 2023

  • 在有限通信条件下维持分布式学习和优化的线性收敛性

    研究分布式优化和机器学习中如何通过压缩信息和设计通信协议来降低通信时间并保持算法收敛性的方法和框架。

    Feb, 2019

  • 任意通信压缩下的分散式深度学习

    该论文研究了去中心化训练深度学习模型的关键因素，提出使用通信压缩来解决网络带宽有限的问题，并通过 Choco-SGD 算法实现了高压缩下的快速收敛，同时支持更高压缩比例，实验结果表明在多种应用场景下具有很好的实际性能表现。

    Jul, 2019

  • 通信高效的分布式对偶坐标上升

    提出了一种称为 CoCoA 的通信高效的框架，该框架采用原始 - 对偶设置进行本地计算，从而显著减少必要的通信，实验结果表明，相比于 SGD 和 SDCA 算法，CoCoA 在平均 25 倍的时间内收敛到相同的.001 精度解决方案质量。

    Sep, 2014

  • 分布式凸优化的通信复杂度

    研究了分布式方法在凸学习与优化中所需要的通信效率的根本限制，在不同信息假设和函数类型条件下找到了现有算法已达到最坏复杂度的情况，同时也指出了仍有改进的余地，说明了当本地目标函数没有相似之处时（由于统计数据相似或其他原因），即使设备具有无限计算能力，也可能需要多次通信往返。

    Jun, 2015