communication-efficient | BriefGPT

关键词communication-efficient

搜索结果 - 34

ICMLFedNL: 将牛顿类方法应用于联邦学习
本研究提出了一族 Federated Newton Learn 方法，它不仅能够使用于广义线性模型，还可应用于压缩本地 Hessians 等通用收缩压缩算子，具有隐私增强和通信效率等优点，并以实验证明了其与关键基线相比具有卓越的通信复杂度。
PDF3 years ago
面向分布式训练的图卷积网络通信高效采样
本文提出了一种通信高效的邻居采样方法，用于分布式训练图卷积网络，并在节点分类基准测试中证明了该方法显著降低了通信开销，损失很少的准确性。
PDF3 years ago
rTop-k：分布式 SGD 的统计估计方法
本文提出一种基于统计估计模型的分布式机器学习通信优化方案，将梯度稀疏化技术与随机梯度业务结合，实现了通信效率与模型性能的均衡优化。
PDF4 years ago
基于深度神经网络的通信高效分布式随机 AUC 最大化
本文提出了一种基于非凸凹重构的 AUC 最大化的通信高效分布式优化算法，通过减少通信轮次提高了算法的并行性能，并在多个测试数据集中展示了其有效性和可靠性。
PDF4 years ago
可重构智能表面用于智能物联网的联邦机器学习
文章介绍了一种基于超信道叠加和可重构智能表面的、通信高效的联邦机器学习框架，用于智能物联网网络的无线计算，以减少模型聚合期间的通信瓶颈和误差。
PDF4 years ago
FedMAX: 缓解激活函数分歧，实现准确且通信高效的联邦学习
本文介绍了一种新的现象 —— 激活散度，由于数据异构性（即多个用户的数据不是独立同分布的）而在联邦学习中出现。为了解决这一问题，本文提出了一种基于最大熵原理的先验，旨在使多个设备上同一类别的激活向量尽可能相似。实验证明，我们提出的方法在联邦
PDF4 years ago
具有动态拓扑和本地更新的去中心化 SGD 的统一理论
这篇论文介绍了一种统一的收敛性分析方法，涵盖了许多分散式随机梯度下降方法，具有计算成本低、数据本地性和沟通效率等优点，并包括本地随机梯度下降更新和自适应网络拓扑上的同步和成对传递更新，我们推导了光滑（凸和非凸）问题的通用收敛率，并在不同的数
PDF4 years ago
LASG: 惰性累加随机梯度优化方法用于高效通讯的分布式学习
该论文旨在通过 LASG（一种新的随机梯度下降方法）解决通信效率低下的分布式机器学习问题，并在实验中展示可以节省大量的通信成本。
PDF4 years ago
FedPAQ: 周期均值和量化的通信效率联邦学习方法
FedPAQ 是一种通讯高效、周期平均和量化的联邦学习方法，能很好地解决联邦学习中的通讯和可扩展性问题，且在强凸和非凸损失函数方面具有接近最优的理论保证和优秀的实际表现。
PDF5 years ago
分布式强化学习中通信高效的多智能体 Actor-Critic 算法
本文提出了一种基于随机化和多智能体系统 actor-critic 算法的分布式强化学习算法，旨在通过仅与本地邻居通信，协同优化全局平均回报。通过仅发送两个标量值变量，该算法可以解决强连通图的问题。
PDF5 years ago
GIANT: 分布式优化的全局改进近似牛顿方法
本研究提出了一种分布式和通信高效的牛顿类型优化方法，名为 GIANT，通过利用全球 ANT 方向进行局部计算和全局通信之间的折衷来改善收敛率，并仅涉及一个调整参数。
PDF7 years ago
Parle：并行化随机梯度下降
提出了一种称为 Parle 的算法，用于深度网络的并行训练，与 SGD 的数据并行实现相比，收敛速度快 2-4 倍，同时在多个基准测试中实现了接近最新技术水平的显着改进错误率，不会引入任何额外的超参数，适用于单机、多 GPU 设置和分布式实
PDF7 years ago
分布式凸优化的通信复杂度
研究了分布式方法在凸学习与优化中所需要的通信效率的根本限制，在不同信息假设和函数类型条件下找到了现有算法已达到最坏复杂度的情况，同时也指出了仍有改进的余地，说明了当本地目标函数没有相似之处时（由于统计数据相似或其他原因），即使设备具有无限计
PDF9 years ago
ICML分布式原 - 对偶优化中的加法与平均法
本文介绍了一种分布式优化方法 ——CoCoA+，解决了大规模机器学习中通信瓶颈和全局参数的更新问题，使得非光滑的凸损失函数以更快的速度达到更优的性能表现。
PDF9 years ago