EDEN：面向联邦学习的通信高效、鲁棒性强的分布式均值估计

ICMLAug, 2021

EDEN：面向联邦学习的通信高效、鲁棒性强的分布式均值估计

EDEN: Communication-Efficient and Robust Distributed Mean Estimation for Federated Learning

Shay Vargaftik, Ran Ben Basat, Amit Portnoy, Gal Mendelson, Yaniv Ben-Itzhak...

TL;DR本论文提出了一种名为 EDEN 的鲁棒性分布式平均估计技术，能够自然地处理各种异构的网络通信条件和数据包损失，得到了令人满意的理论保证，并证明了其在实践中优于现有技术。

Abstract

distributed mean estimation (DME) is a central building block in federated learning, where clients send local gradients to a parameter server for averaging and updating the model. Due to communication constraints

distributed mean estimation federated learning lossy compression communication constraints eden

发现论文，激发创造

差分隐私的分布式均值估计的相关隐私机制

基于相关高斯噪音的 CorDP-DME 机制在平均估计任务中显著提高了效用，即使在对抗性环境中，保持了比分布式差分隐私更好的抗干扰性和攻击抵御能力。

Jul, 2024

带双重正则化漂移校正的联邦优化

分布式优化中的 Federated Learning 及其改进方法 DANE 和 FedRed 的关键词与摘要。

Apr, 2024

QUIC-FL: 快速无偏压缩联合学习

本文提出 QUIC-FL 算法，通过新颖的方法应用标准求解器来设计接近最优的无偏量化方案，以实现分布式平均估计。该算法不仅无偏，还具有快速的聚合时间和与最精确（聚合时间较长）的 DME 技术竞争力。

May, 2022

联邦学习中的混合模型：隐私、通讯和准确性权衡

为了解决联邦学习框架下传统 ERM 问题所面临的隐私保障、低带宽、动态客户端等挑战，我们开发了最优通信 - efficient 私密方案，可以使客户端参与到 ERM 的优化中，同时保证通信和隐私效果，并利用数据和客户端抽样实现隐私扩大，验证了我们的解决方案既能够获得相同的隐私、优化 - 性能操作点，又能大幅降低通信成本。

Aug, 2020

DRIVE：一位分布式均值估计算法

研究压缩问题在分布式和联邦学习中的应用，并提供数学模型和算法来比现有方法更加有效率和准确。

May, 2021

FedDM：基于迭代分布匹配的通信高效联邦学习

本研究提出了 FedDM，旨在通过多个本地替代函数来构建全局训练目标，从而减少通信轮数，改善模型质量，并在保留差分隐私的同时证明该算法的有效性。

Jul, 2022

有限通信下的分布式均值估计

研究低通信成本的分布式平均估计的通信高效算法，实现数据的结构化随机旋转和编码策略，并在 k-means 和 PCA 的分布式算法中应用。

Nov, 2016

高效沟通的自适应联邦学习

本文介绍了一种新的通信高效的自适应联邦学习方法 FedCAMS，该方法具有理论收敛保证并在各种基准测试上进行了广泛实验验证。

May, 2022

具梯度跟踪和方差缩减的网络分布式优化通信效率提高

本文提出了一种基于去中心化网络的、通信效率高且线性收敛的近似牛顿方法，该方法可以用于复合优化，并且通过本地通信和计算，可以显著提高总体效率。

Sep, 2019

随机分布式均值估计：准确性与通信

本文研究如何在分布式计算环境中在通信成本约束下，适应一系列随机化算法以在预期的通信成本和估计误差之间进行权衡，实现对一组向量的平均值估计，为分布式优化和学习算法中的 reduce-all 操作提供了一种解决方案。

Nov, 2016