分布式分类与优化的高效协议

Apr, 2012

Efficient Protocols for Distributed Classification and Optimization

Hal Daume III, Jeff M. Phillips, Avishek Saha, Suresh Venkatasubramanian

TL;DR本文提出了基于多项式权重更新的两方协议，并且展示了一般的算法设计方法来解决在分布式数据中的高效学习问题。

Abstract

In distributed learning, the goal is to perform a learning task over data distributed across multiple nodes with minimal (expensive) communication. Prior work (Daume III et al., 2012) proposes a general model that bounds the communication required for learning classifiers while allowin

distributed learning communication efficiency multiplicative-weight-update protocol convex optimization distributed data

发现论文，激发创造

分布式数据上学习分类器的协议

本文研究了在分布于多个节点上的标记数据上学习分类器的问题，目标是找到一个单一的分类器，同时最小化节点间的通信，提出了几种基于采样的解决方案和一些双向协议，以及针对分布在两个或多个节点上的无噪声数据的核心问题。

Feb, 2012

一种基于有效本地函数逼近的高效分布式学习算法

本文提出了一种新的分布式训练线性分类器的方法，旨在减少通信成本，在迭代期间每个节点最小化局部形成的近似目标函数，然后合并得到下降方向移动，该方法可以看作是迭代参数混合法。

Oct, 2013

分布式凸优化的通信复杂度

研究了分布式方法在凸学习与优化中所需要的通信效率的根本限制，在不同信息假设和函数类型条件下找到了现有算法已达到最坏复杂度的情况，同时也指出了仍有改进的余地，说明了当本地目标函数没有相似之处时（由于统计数据相似或其他原因），即使设备具有无限计算能力，也可能需要多次通信往返。

Jun, 2015

具有次线性通信的分布式学习

研究了在分布式学习中，如何在总通信次数亚线性的情况下通过镜像下降与随机稀疏化 / 量化迭代相结合的算法来实现线性模型的最优误差学习，从而探讨了高维环境下分布式学习的可行性。

Feb, 2019

网络中平滑且强凸分布式优化的最优算法

该论文在两个设置中确定了强凸和光滑分布式优化的最优收敛速率：中央集权和去中心化通信。对于中央集权算法，作者表明分布式 Nesterov 加速梯度下降算法是最优的。对于基于流言蜚语 (gossip) 的去中心化算法，作者提供了第一个最优算法 MSDA 方法，并通过最小二乘回归和分类的逻辑回归问题验证了其效率。

Feb, 2017

分布式学习，通信复杂度和隐私

讨论分布式数据的 PAC 学习问题，分析了涉及的基本通信复杂性问题，包括教学维度和错误绑定。针对特定概念类别，如合取、奇偶函数和决策列表等，给出上下界限。讨论了如何通过增强来在分布式环境下进行一般性通信，以及如何在不确定环境下实现低通信回归。同时，还考虑了隐私性，包括差分隐私和分布式隐私。

Apr, 2012

在有限通信条件下维持分布式学习和优化的线性收敛性

研究分布式优化和机器学习中如何通过压缩信息和设计通信协议来降低通信时间并保持算法收敛性的方法和框架。

Feb, 2019

自协调经验损失的通信高效分布式优化

本论文提出了基于省通信的分布式算法来最小化整体经验损失，算法的迭代复杂度和通信效率针对自共轭经验损失函数进行了分析。

Jan, 2015

去中心化和随机优化的通讯高效算法

本文提出了一种新的去中心化一阶方法解决在多代理网络上的非光滑和随机优化问题，其中主要贡献为提出了基于去中心化通讯滑动算法的去中心化原始 - 对偶算法，以解决在去中心化优化中通讯瓶颈。

Jan, 2017

零阶分布式在线优化通信效率高的算法、理论和应用

本文提出了一种基于联邦学习模式下的多智能体最优化问题解决方案，运用受限的通信方式，实现了对多个目标的追踪，避免了碰撞发生，并在两个相关应用上进行了数量级和碰撞性能的分析。

Jun, 2023