分布式优化的线性收敛算法：免费发送更少的比特！

Nov, 2020

分布式优化的线性收敛算法：免费发送更少的比特！

A Linearly Convergent Algorithm for Decentralized Optimization: Sending Less Bits for Free!

Dmitry Kovalev, Anastasia Koloskova, Martin Jaggi, Peter Richtarik, Sebastian U. Stich

TL;DR提出了一种新的基于随机压缩算子的一阶随机算法和方差约简技术，能够在去除了通信中数据量的一定压缩的前提下，快速地在分散的装置上完成模型的机器学习训练并收敛于最优解。

Abstract

decentralized optimization methods enable on-device training of machine learning models without a central coordinator. In many scenarios communication between devices is energy demanding and time consuming and forms the bottleneck of the entire system. We propose a new randomized first

decentralized optimization machine learning randomized compression operators variance reduction technique linear convergence

发现论文，激发创造

在有限通信条件下维持分布式学习和优化的线性收敛性

研究分布式优化和机器学习中如何通过压缩信息和设计通信协议来降低通信时间并保持算法收敛性的方法和框架。

Feb, 2019

任意通信压缩下的分散式深度学习

该论文研究了去中心化训练深度学习模型的关键因素，提出使用通信压缩来解决网络带宽有限的问题，并通过 Choco-SGD 算法实现了高压缩下的快速收敛，同时支持更高压缩比例，实验结果表明在多种应用场景下具有很好的实际性能表现。

Jul, 2019

分布式训练的通信压缩技术

研究如何将通信压缩和分散化技术相结合，以提高分布式学习系统的鲁棒性。作者提出了一种压缩分散训练的框架，并且提出了两种不同的策略，称为外推压缩和差异压缩。通过分析和验证，该算法显著优于仅分散化和仅量化算法。

Mar, 2018

PowerGossip: 分散式深度學習中实用的低秩通信压缩

介绍了一种使用低秩线性压缩器直接压缩相邻工作器之间的模型差异的简单算法，在分布式机器学习训练中具有实际应用价值，无需额外的超参数，收敛速度比之前的方法快，并且在一系列深度学习基准测试中的表现与经过调优的最先进压缩算法相当。

Aug, 2020

分布式随机优化中的下限与通信压缩加速算法

本文研究了利用通信压缩的分布式随机优化算法的性能上限，并提出了 NEOLITHIC 算法，该算法在温和条件下实现所建立的理论下限。

May, 2023

零阶分布式在线优化通信效率高的算法、理论和应用

本文提出了一种基于联邦学习模式下的多智能体最优化问题解决方案，运用受限的通信方式，实现了对多个目标的追踪，避免了碰撞发生，并在两个相关应用上进行了数量级和碰撞性能的分析。

Jun, 2023

去中心化和随机优化的通讯高效算法

本文提出了一种新的去中心化一阶方法解决在多代理网络上的非光滑和随机优化问题，其中主要贡献为提出了基于去中心化通讯滑动算法的去中心化原始 - 对偶算法，以解决在去中心化优化中通讯瓶颈。

Jan, 2017

强健且通信高效的协作学习

本文提出了一种名为 QuanTimed-DSGD 的新型分布式渐进优化算法，通过调整每个节点在算法每一步中本地计算梯度的截止时间和节点间交换量化本地模型的机制来解决分布式计算中经常遇到的滞后和通信效率低的问题，数值评估结果表明该算法与最先进的分布式优化方法相比，运行时间可提速至多 3 倍。

Jul, 2019

压缩联邦学习：统一分析和精确保证

通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

Jul, 2020

LASER: 线性压缩在无线分布式优化中的应用

在分布式优化中，数据并行 SGD 是事实上的算法，但是通信瓶颈是一个持久性问题。本文介绍了 LASER 算法，它利用梯度的低秩结构，在噪声通道上高效传输，并在实际任务中相比基准表现更好。

Oct, 2023