自动调优压缩的私有联邦学习

ICMLJul, 2023

Private Federated Learning with Autotuned Compression

Enayat Ullah, Christopher A. Choquette-Choo, Peter Kairouz, Sewoong Oh

TL;DR提出了一种新的技术，用于在私有联邦学习中降低通信量，而无需设置或调整压缩率。我们的实时方法根据训练过程中引入的误差自动调整压缩率，同时通过使用安全聚合和差分隐私保证可证明的隐私保护。我们的技术在均值估计中可以证明是最优的，这意味着它们可以根据问题的 “难度” 进行最小的交互式调整。我们通过在真实数据集上取得有利的压缩率而无需调整来证明我们方法的有效性。

Abstract

We propose new techniques for reducing communication in private federated learning without the need for setting or tuning compression rates. Our on-the-fly methods automatically adjust the compression rate based on the error induced during training, while maintaining provable privacy g

private federated learning communication reduction compression rate secure aggregation differential privacy

发现论文，激发创造

通过压缩实现隐私放大：在分布式均值估计中实现最优隐私 - 准确性 - 通信平衡

本文研究联邦学习和联邦分析中的隐私和通信障碍，通过压缩和随机选择部分信息以实现差分隐私，实现在通信和差分隐私约束下的均值和频率估计的最优准确性，从而实现更高效的计算。

Apr, 2023

具有精确误差分布的联邦学习压缩

本文研究了在联邦学习中使用压缩和聚合方案来产生特定误差分布的方法，分析了基于分层量化实现准确误差分布的不同聚合方案，并提供了利用所提出的压缩方案在差分隐私应用中免费获得压缩的不同方法。我们的通用压缩方法可以恢复和改进具有高斯扰动的标准联邦学习方案，如 Langevin 动力学和随机平滑。

Oct, 2023

联邦学习中压缩通信的最优速率调适

本论文系统地研究了通信成本和模型准确性之间的权衡，提出了一种自适应网络压缩率最大化最终模型准确性的框架，根据实验结果，这种解决方案可以有效降低网络流量并保持联邦学习中的高模型准确性。

Dec, 2021

自动调音的通信高效安全聚合联邦学习

这篇研究论文讨论了在保护用户数据隐私的同时，使用联邦学习和安全聚合对移动设备进行机器学习的方法。其中利用随机旋转和安全聚合技术，使得用户的模型更新能够更有效地量化和保护，从而提高联邦学习的效率和安全。

Nov, 2019

压缩联邦学习：统一分析和精确保证

通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

Jul, 2020

在联邦学习中协调安全性和通信效率

本文解决了跨设备联邦学习中通信效率问题并提出了一种基于安全聚合的压缩方法，使得在保证通信安全的前提下能够实现高效联邦学习。

Jul, 2022

异构数据下的联邦神经网络压缩

本文提出了一种分布式源模型，旨在从现实世界的分散在客户端上的、可能存在统计异质性但共享共同基础表示的数据中学习压缩器。作者使用了个性化联邦学习方法，从而允许在客户端之间学习全局潜在空间，并采用适应客户潜在分布的个性化熵模型。经验证明，该策略优于仅使用本地方法，这表明在统计异质性的联合设置中，学习压缩也受益于共享全局表示。

May, 2023

联邦学习中的混合模型：隐私、通讯和准确性权衡

为了解决联邦学习框架下传统 ERM 问题所面临的隐私保障、低带宽、动态客户端等挑战，我们开发了最优通信 - efficient 私密方案，可以使客户端参与到 ERM 的优化中，同时保证通信和隐私效果，并利用数据和客户端抽样实现隐私扩大，验证了我们的解决方案既能够获得相同的隐私、优化 - 性能操作点，又能大幅降低通信成本。

Aug, 2020

基于局部差异隐私联邦学习的动态隐私分配与复合目标

本文提出了一种局部差分隐私联邦学习算法，用于强凸但可能非光滑问题，以保护每个参与者的梯度免受诚实但好奇的服务器的侵犯，并通过给共享信息添加人工噪声来保证隐私，并动态分配时变噪声方差以最小化一个预定义的隐私预算约束下的优化误差上界，从而可以在无需调整迭代次数的情况下，在可接近最优解的周围实现隐私保护和效用，数值结果表明该算法优于现有的方法。

Aug, 2023

面向轻量通信设计的联邦学习压缩

本文研究压缩技术对典型图像分类任务的联邦学习的影响，并证明了一种简单的方法可以在保持不到 1% 准确率损失的同时压缩 50% 的消息，与最先进的技术相媲美。

Oct, 2023