Jun, 2018

一种精确量子化的分散梯度下降算法

PDF
TL;DR研究去中心化共识优化中量化对优化带来的影响，并提出了一种基于梯度下降的算法，证明算法在标准强凸和平滑假设下可实现消失的均值解误差，并通过模拟结果验证了理论收敛速度与实际结果的紧密一致性。
decentralized consensus optimizationquantizationgradient descentstrong convexitysimulation results
发现论文，激发创造
  • 强健且通信高效的协作学习

    本文提出了一种名为 QuanTimed-DSGD 的新型分布式渐进优化算法，通过调整每个节点在算法每一步中本地计算梯度的截止时间和节点间交换量化本地模型的机制来解决分布式计算中经常遇到的滞后和通信效率低的问题，数值评估结果表明该算法与最先进的分布式优化方法相比，运行时间可提速至多 3 倍。

    Jul, 2019

  • 非凸分散梯度下降

    本研究探讨了去中心化算法在非凸一致优化中的应用和属性，特别针对非光滑函数和非凸集的情况，提出了 Prox-DGD 算法，通过现有的 convex setting 证明其误差收敛性。

    Aug, 2016

  • 分布式次梯度方法与量化效应

    针对在代理网络中要通过本地计算和通信协作优化个体目标函数和的求和，我们使用平均算法开发了分布式次梯度方法，同时也考虑了时间变化和量化信息的影响并给出了收敛率的保证。

    Mar, 2008

  • 基于梯度量化和方差约束的随机分布式学习

    研究了分布式优化问题，在量化梯度、降低方差的基础上，提出新的缩短收敛时间的方法，实现了对于任意量化梯度的线性收敛，解决了弱凸和非凸问题，并在实验中验证了其效率优于传统方法。

    Apr, 2019

  • 量化一致性 ADMM 用于多智能体分布式优化

    研究了基于交替方向乘法方法的量化分布式算法，用于解决多代理分布式优化问题，该算法适用于包括 LASSO 在内的更一般目标函数（可能是非平滑的）在有限容量和其他实际约束下进行通信。

    Oct, 2015

  • 误差补偿量化 SGD 及其在大规模分布式优化中的应用

    本文提出了误差补偿量化随机梯度下降算法以优化数据分布式学习中的性能瓶颈，并对其收敛性行为进行了理论分析，同时通过实验证明了该算法在梯度压缩方面具有较大优势。

    Jun, 2018

  • 分散梯度下降的收敛性

    本文研究了基于对等网络的去中心化梯度下降方法，分析了参数收敛性与收敛速率，提出了分布式基 pursuit 迭代方法及其收敛性分析。

    Oct, 2013

  • vqSGD: 向量量化随机梯度下降

    本文提出了一种名为 vqSGD 的向量量化方法，具有渐近通信成本降低和在分布式优化中具有收敛性保证的特点，并支持隐私保护。该方法基于点集的凸壳，并提供了多个高效实例，通过应用二进制纠错码的特性，平滑地平衡量化通信和估计误差之间的权衡。通过使用这种向量量化方案，作者成功证明了任何维数在单位球中的 g 的无偏估计需要 O (d/R^2) 位表示，同时估计误差足够小，仅需要在通信方面花费小于 o (d) 的比特数。

    Nov, 2019

  • 分散优化中平滑强凸问题的最优实用算法

    本文提出了两种基于加速的前后向算法的分散优化新算法以解决存储在网络节点上的光滑强凸函数之和的最小化问题，并显示它们是最优的算法，具有复杂性的保证。

    Jun, 2020

  • 分散式随机非凸优化问题的混合方差缩减方法

    本文研究了分散式随机优化的网络问题，提出了一种新的单循环分散式混合降低方差随机梯度下降算法 GT-HSGD，并度量了其优化性能。

    Feb, 2021