Jul, 2020

降低轮次数和加入更少聚合高斯噪音的异步联邦学习与差分隐私

PDF
TL;DR我们提出了一种异步联邦学习算法，通过减少通信次数来降低等待时间和整体网络通信，在强凸目标函数上提供了严格的理论分析并提供了模拟结果。通过添加高斯噪声，我们展示了我们的算法如何变得不同 ially private - 新的定理表明，聚合的高斯噪声显着降低了。
federated learningasynchronous algorithmgpudifferential privacycommunication
发现论文，激发创造
  • 带噪声通信的鲁棒联邦学习

    本研究提出一种鲁棒的联邦学习方案，通过并行优化、正则化等方法减小噪声影响，并从理论角度分析了其收敛性和准确性改善，仿真实验进一步验证了该方案的有效性。

    Nov, 2019

  • 分布式离散高斯机制在带有安全聚合的联邦学习中的应用

    本文提出了一种基于离散高斯和安全聚合的训练模型方法，以保护私有数据。通过数据量化和添加离散高斯噪音，能够实现通信、隐私和准确性之间的复杂平衡，此方法在少于 16 位精度的情况下几乎能匹配集中式差分隐私的准确性水平。

    Feb, 2021

  • 异步模型更新和时间加权聚合的通信高效联邦深度学习

    该研究提出了一种改进的联邦学习技术，采用同步学习策略和服务器上的时态加权聚合，而异步学习策略中不同深度的神经网络层被归类为浅层和深层，并且深层的参数更新频率低于浅层。并且还介绍了一种时态加权聚合策略，以利用以前训练过的本地模型，从而提高了中央模型的准确性和收敛性。该算法在两个不同的深度神经网络数据集上得出了实证结果，证明了该异步联邦深度学习算法在通信成本和模型准确性方面优于基线算法。

    Mar, 2019

  • 一个带隐私保护学习的图联邦架构

    此论文介绍了图联邦学习，这是一种多服务器联邦学习方案，使用密码学和差分隐私概念来保护隐私数据，并证明在特定条件下可以匹配非私有算法的性能。

    Apr, 2021

  • 客户协作：具有保证效用 - 隐私权衡改进的灵活差分隐私联邦学习

    我们介绍一种新颖的联邦学习框架 FedCEO，通过让客户端相互合作，在模型效用和用户隐私之间取得平衡，实现了严格的隐私保障。我们在服务器上对堆叠的本地模型参数进行高效的张量低秩近似优化，并使用光谱空间灵活截断高频分量，从而有效地恢复被破坏的语义信息并对不同隐私设置和持续训练过程平滑全局语义空间，同时改进了最先进的效用 - 隐私折衷边界。我们通过对典型图像数据集进行实验证实了我们的理论结果，在不同隐私设置下观察到显著的性能提升和严格的隐私保证。

    Feb, 2024

  • 异步联邦优化

    提出了一种新的异步联邦优化算法，用于在海量边缘设备上进行培训，具有近线性收敛全局最优点的证明，可用于强凸和一类非凸问题，实验证明在各种应用中算法收敛快且容忍陈旧。

    Mar, 2019

  • 具有相关噪声的差分隐私在线联邦学习

    我们提出了一种新颖的差分隐私算法，用于在线联合学习，通过使用时间相关的噪声来提高效用并确保连续发布的模型的隐私性。

    Mar, 2024

  • 局部差分隐私下联邦学习中的实用聚合

    本文研究基于联邦学习的隐私保护问题，提出了一种局部差分隐私机制，以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明，该机制不仅具有优异的深度学习性能，而且能够提供强大的隐私保证。

    Jul, 2020

  • 无线联邦学习中异构集群的隐私聚合

    本文介绍了一种私有集成学习方案，以处理联合学习中的隐私问题，并推导出信息论隐私所需的通信成本的基本限制。

    Jun, 2023

  • 差分隐私联邦学习：客户端视角

    提出了一种新的算法，通过差分隐私保护的联邦优化算法来处理联邦学习中的差分攻击问题，能够在只牺牲模型性能的小量代价下保持客户端差分隐私。

    Dec, 2017