研究了分布式方法在凸学习与优化中所需要的通信效率的根本限制,在不同信息假设和函数类型条件下找到了现有算法已达到最坏复杂度的情况,同时也指出了仍有改进的余地,说明了当本地目标函数没有相似之处时(由于统计数据相似或其他原因),即使设备具有无限计算能力,也可能需要多次通信往返。
Jun, 2015
探索分布式学习中维度和沟通成本之间的关系,研究估计未知高维高斯分布均值的问题。同时,提出了一个基于阈值的协议,可在保证相同平方损失的前提下节省通信开销。
May, 2014
研究了在分布式学习中,如何在总通信次数亚线性的情况下通过镜像下降与随机稀疏化 / 量化迭代相结合的算法来实现线性模型的最优误差学习,从而探讨了高维环境下分布式学习的可行性。
Feb, 2019
研究分布式随机凸优化的最小最大复杂度,在间歇通信设置下提出了一种新的下限和上限算法,以确定最佳算法。
Feb, 2021
本文提出了一种新的去中心化一阶方法解决在多代理网络上的非光滑和随机优化问题,其中主要贡献为提出了基于去中心化通讯滑动算法的去中心化原始 - 对偶算法,以解决在去中心化优化中通讯瓶颈。
Jan, 2017
研究分布式优化和机器学习中如何通过压缩信息和设计通信协议来降低通信时间并保持算法收敛性的方法和框架。
本研究探讨了分布式 l_p 回归问题的随机通信复杂度,得到了比以前更好的上下界,并在最小二乘回归和其他一些情况中给出了优化算法。
Jul, 2023
本文提出了基于多项式权重更新的两方协议,并且展示了一般的算法设计方法来解决在分布式数据中的高效学习问题。
Apr, 2012
本文研究了高维分布统计估计问题的统计误差和通信成本之间的权衡,并提供了分布式稀疏高斯均值估计问题的紧密的权衡分析结果,这直接导致了分布式稀疏线性回归问题的下界,并给出了在稠密情况下均值估计的第一个最优同时协议。
本论文研究了用于最小化凸函数平均值的分布式优化算法,应用于统计机器学习的经验风险最小化问题。我们设计了一种分布式随机方差减少梯度算法,其在条件数方面同时增强了最佳并行运行时间、通信量和所有分布式一阶方法的通信轮数。此外,当条件数相对于每个机器中的数据大小不太大时,我们的方法及其加速扩展还可以优于现有的分布式算法,此外,还证明了广泛分布的课程的有关通信轮数的下限。我们证明了我们的加速分布式随机方差减少梯度算法实现了这一下限,从而它使用最少的通信轮数。
Jul, 2015