Jun, 2015

分布式凸优化的通信复杂度

PDF
TL;DR研究了分布式方法在凸学习与优化中所需要的通信效率的根本限制，在不同信息假设和函数类型条件下找到了现有算法已达到最坏复杂度的情况，同时也指出了仍有改进的余地，说明了当本地目标函数没有相似之处时（由于统计数据相似或其他原因），即使设备具有无限计算能力，也可能需要多次通信往返。
distributed methodsconvex learningoptimizationcommunication-efficientlocal objective functions
发现论文，激发创造
  • 自协调经验损失的通信高效分布式优化

    本论文提出了基于省通信的分布式算法来最小化整体经验损失，算法的迭代复杂度和通信效率针对自共轭经验损失函数进行了分析。

    Jan, 2015

  • 分布式随机凸优化的极小 - 极大复杂度及间歇通信

    研究分布式随机凸优化的最小最大复杂度，在间歇通信设置下提出了一种新的下限和上限算法，以确定最佳算法。

    Feb, 2021

  • 在有限通信条件下维持分布式学习和优化的线性收敛性

    研究分布式优化和机器学习中如何通过压缩信息和设计通信协议来降低通信时间并保持算法收敛性的方法和框架。

    Feb, 2019

  • 优化问题的通讯复杂度

    研究了分布式优化中线性系统问题和优化任务的通信复杂度，并对线性规划问题的通信复杂度进行了分析。

    Jun, 2019

  • 分布式随机方差减少梯度方法与通信复杂度下限

    本论文研究了用于最小化凸函数平均值的分布式优化算法，应用于统计机器学习的经验风险最小化问题。我们设计了一种分布式随机方差减少梯度算法，其在条件数方面同时增强了最佳并行运行时间、通信量和所有分布式一阶方法的通信轮数。此外，当条件数相对于每个机器中的数据大小不太大时，我们的方法及其加速扩展还可以优于现有的分布式算法，此外，还证明了广泛分布的课程的有关通信轮数的下限。我们证明了我们的加速分布式随机方差减少梯度算法实现了这一下限，从而它使用最少的通信轮数。

    Jul, 2015

  • 一种基于有效本地函数逼近的高效分布式学习算法

    本文提出了一种新的分布式训练线性分类器的方法，旨在减少通信成本，在迭代期间每个节点最小化局部形成的近似目标函数，然后合并得到下降方向移动，该方法可以看作是迭代参数混合法。

    Oct, 2013

  • 零阶分布式在线优化通信效率高的算法、理论和应用

    本文提出了一种基于联邦学习模式下的多智能体最优化问题解决方案，运用受限的通信方式，实现了对多个目标的追踪，避免了碰撞发生，并在两个相关应用上进行了数量级和碰撞性能的分析。

    Jun, 2023

  • 分布式分类与优化的高效协议

    本文提出了基于多项式权重更新的两方协议，并且展示了一般的算法设计方法来解决在分布式数据中的高效学习问题。

    Apr, 2012

  • 机器学习的分布式优化中的最佳数据分割

    通过使用本地数据相似性算法，本研究考虑了通信成本和本地计算开销之间的关系，并旨在实现服务器和本地计算机之间分布式数据的最佳比例，通过与均匀分布相比较，实验证明了我们解决方案的优越理论性能。

    Jan, 2024

  • 具有次线性通信的分布式学习

    研究了在分布式学习中，如何在总通信次数亚线性的情况下通过镜像下降与随机稀疏化 / 量化迭代相结合的算法来实现线性模型的最优误差学习，从而探讨了高维环境下分布式学习的可行性。

    Feb, 2019