Apr, 2023

通过压缩实现隐私放大：在分布式均值估计中实现最优隐私 - 准确性 - 通信平衡

PDF
TL;DR本文研究联邦学习和联邦分析中的隐私和通信障碍，通过压缩和随机选择部分信息以实现差分隐私，实现在通信和差分隐私约束下的均值和频率估计的最优准确性，从而实现更高效的计算。
federated learningdifferential privacycompressionaccuracycommunication
发现论文，激发创造
  • 联邦学习中的混合模型：隐私、通讯和准确性权衡

    为了解决联邦学习框架下传统 ERM 问题所面临的隐私保障、低带宽、动态客户端等挑战，我们开发了最优通信 - efficient 私密方案，可以使客户端参与到 ERM 的优化中，同时保证通信和隐私效果，并利用数据和客户端抽样实现隐私扩大，验证了我们的解决方案既能够获得相同的隐私、优化 - 性能操作点，又能大幅降低通信成本。

    Aug, 2020

  • 打破通信 - 隐私 - 准确性三难题

    该研究提出了一种基于 Kashin 表示和随机抽样的方案以及利用 Walsh-Hadamard 矩阵的递归结构来实现隐私和通信效率的联合优化编码和解码机制，对平均值估计和频率估计等问题进行了研究。

    Jul, 2020

  • 通过重要性采样实现通信高效的联邦学习

    在可扩展联邦学习中，我们利用客户端和服务器之间的密切联系，提出一种框架，将客户端的分布与服务器的先数据分布进行了比较，大大减少了通信开销，同时保证了测试精度。

    Jun, 2023

  • 使用速率失真理论在联邦学习中优化通信 - 准确性权衡

    研究了联邦学习中模型更新的统计学特性及各种压缩技术的作用和优劣，提出了基于失真作为可靠的模型精度代理的降低通信成本的新方法，并在 Stack Overflow 下一个真实具有挑战性的 FL 基准测试中实现了接近最优的通信成本降低，在多个数据集、优化器、客户端和训练轮次中，失真 - 失真前沿保持一致。

    Jan, 2022

  • 增强稀疏化隐私与自适应优化的联邦学习

    这篇论文提出了一种新的联邦学习框架，采用随机稀疏化和梯度扰动来增强差分隐私保证，结合加速技术减少隐私代价，并利用 Renyi DP 紧密评估端到端 DP 保证。实验结果验证了该方法在隐私保证和通信效率方面的优于之前的方法。

    Aug, 2020

  • 流式差分隐私下 $L_2$ 均值估计的通信隐私权衡改进

    在本研究中，我们通过引入一种新的隐私账户方法，将稀疏高斯机制中的稀疏性所固有的随机性结合到差分隐私噪声中，解决了 $L_2$ 均值估计在中心差分隐私和通信约束下的两个关键挑战，并扩展了稀疏化方案到流式差分隐私的矩阵分解框架，为 DP-FTRL 类型的优化器提供了一个精确的账户方法。

    May, 2024

  • 自动调优压缩的私有联邦学习

    提出了一种新的技术，用于在私有联邦学习中降低通信量，而无需设置或调整压缩率。我们的实时方法根据训练过程中引入的误差自动调整压缩率，同时通过使用安全聚合和差分隐私保证可证明的隐私保护。我们的技术在均值估计中可以证明是最优的，这意味着它们可以根据问题的 “难度” 进行最小的交互式调整。我们通过在真实数据集上取得有利的压缩率而无需调整来证明我们方法的有效性。

    Jul, 2023

  • 具有精确误差分布的联邦学习压缩

    本文研究了在联邦学习中使用压缩和聚合方案来产生特定误差分布的方法，分析了基于分层量化实现准确误差分布的不同聚合方案，并提供了利用所提出的压缩方案在差分隐私应用中免费获得压缩的不同方法。我们的通用压缩方法可以恢复和改进具有高斯扰动的标准联邦学习方案，如 Langevin 动力学和随机平滑。

    Oct, 2023

  • 通过平衡通信折衷来实现快速联邦学习

    根据局部更新系数和梯度压缩稀疏预算之间的权衡方式，提出了一种新的快速联邦学习方案（Fast FL），该方案通过动态地调整这两种变量来实现最小化学习误差。结果表明，Fast FL 能够快速且一致地实现比文献中类似方案更高的精确度。

    May, 2021

  • DRIVE：一位分布式均值估计算法

    研究压缩问题在分布式和联邦学习中的应用，并提供数学模型和算法来比现有方法更加有效率和准确。

    May, 2021