利用通信差异实现在噪声和速率受限的去中心化网络中的优化共识

MMOct, 2020

利用通信差异实现在噪声和速率受限的去中心化网络中的优化共识

Decentralized optimization over noisy, rate-constrained networks: Achieving consensus by communicating differences

Rajarshi Saha, Stefano Rini, Milind Rao, Andrea Goldsmith

TL;DR研究了分散优化问题中节点之间由于信号传输速率受限及接收到的噪声的影响导致信息交换受阻的情况下，提出了 Decentralized Lazy Mirror Descent with Differential Exchanges (DLMD-DiffEx) 算法，通过引入代理变量维护节点估计值的差异并建立共识来实现局部估计量的最优解收敛。DLMD-DiffEx 通过控制信号传输功率和共识速率的序列的设计，防止噪声累积，从理论上和数字评估的角度调查了该算法的性能。

Abstract

In decentralized optimization, multiple nodes in a network collaborate to minimize the sum of their local loss functions. The information exchange between nodes required for this task, is often limited by network connectivity. We consider a setting in which communication between nodes

decentralized optimization rate-constraint additive noise proxy variables consensus

发现论文，激发创造

高效通讯的分布式鲁棒性分布式学习

本文介绍了一种分布式学习算法 —— 去中心化单环梯度上升 / 下降算法（AD-GDA），以解决设备之间数据分布不均导致合作训练模型性能下降的问题，并采用压缩共识方案提高通信效率，并给出了平滑凸和非凸损失函数的收敛性保证。

May, 2022

强健且通信高效的协作学习

本文提出了一种名为 QuanTimed-DSGD 的新型分布式渐进优化算法，通过调整每个节点在算法每一步中本地计算梯度的截止时间和节点间交换量化本地模型的机制来解决分布式计算中经常遇到的滞后和通信效率低的问题，数值评估结果表明该算法与最先进的分布式优化方法相比，运行时间可提速至多 3 倍。

Jul, 2019

分布式噪声链路最大一致性

我们介绍了一种分布式算法，称为噪声鲁棒的分布式最大共识（RD-MC），用于在存在噪声通信链路的多智能体网络中估计最大值。通过将最大共识问题重新定义为分布式优化问题，我们使用交替方向乘法器方法进行求解。与现有算法依赖多组受噪声干扰的估计不同，RD-MC 采用单组估计，提高了鲁棒性和效率。为了进一步减轻链路噪声的影响并提高鲁棒性，我们对局部估计应用移动平均。通过广泛的仿真，我们证明了 RD-MC 相比现有的最大共识算法对通信链路噪声更具鲁棒性。

Mar, 2024

异步和延迟的去中心化一致性优化

本研究提出了一种异步、分散的共识优化算法，可在没有全局时序同步的情况下，利用本地计算和信息传递，在有限延迟和随机代理假设下收敛于精确解。

Dec, 2016

ADMM 在分散式一致优化中的线性收敛性

本文研究了具有强凸局部目标函数的去中心化一致性优化问题，并建立了其线性收敛速率及加速的指导原则，其中采用了交替方向乘子方法 (ADMM) 来解决该问题，该方法可在单个代理处进行迭代计算并在邻居之间进行信息交换。

Jul, 2013

高效通信与隐私保护的分散化元学习

在这篇论文中，我们提出了一种名为 LoDMeta（本地分布式元学习）的方法，利用本地辅助优化参数和模型参数的随机扰动来降低通信成本并提高数据隐私保护。理论结果和实证结果都表明，LoDMeta 与集中式元学习算法相比具有相似的元学习准确性，但不需要从每个客户端收集数据，并且能够更好地保护每个客户端的数据隐私。

Jun, 2024

一种精确量子化的分散梯度下降算法

研究去中心化共识优化中量化对优化带来的影响，并提出了一种基于梯度下降的算法，证明算法在标准强凸和平滑假设下可实现消失的均值解误差，并通过模拟结果验证了理论收敛速度与实际结果的紧密一致性。

Jun, 2018

在有限通信条件下维持分布式学习和优化的线性收敛性

研究分布式优化和机器学习中如何通过压缩信息和设计通信协议来降低通信时间并保持算法收敛性的方法和框架。

Feb, 2019

网络中平滑且强凸分布式优化的最优算法

该论文在两个设置中确定了强凸和光滑分布式优化的最优收敛速率：中央集权和去中心化通信。对于中央集权算法，作者表明分布式 Nesterov 加速梯度下降算法是最优的。对于基于流言蜚语 (gossip) 的去中心化算法，作者提供了第一个最优算法 MSDA 方法，并通过最小二乘回归和分类的逻辑回归问题验证了其效率。

Feb, 2017

分布式学习的通信高效差错反馈

分散学习中受通信限制的算法依赖于局部更新以及压缩信号的交换，本文提出了一种新的分散、通信高效的学习方法，结合了差分量化和误差反馈，在满足低维子空间限制的前提下实现个体风险函数的最小化，实验证明在小步长且有限位数的情况下，可以实现与无压缩情况相当的性能。

Jun, 2024