Apr, 2023

具有差分隐私的梯度稀疏化，实现高效的无线联合学习

PDF
TL;DR通过设计基于随机稀疏化算法的梯度稀疏化联邦学习框架，该框架在无线信道上进行训练，提升了训练效率且不牺牲收敛性能，同时降低了差分隐私所引起的性能下降和无线信道传输参数数量。
federated learninggradient sparsificationwireless channelsconvergence performancedifferential privacy
发现论文，激发创造
  • 增强稀疏化隐私与自适应优化的联邦学习

    这篇论文提出了一种新的联邦学习框架，采用随机稀疏化和梯度扰动来增强差分隐私保证，结合加速技术减少隐私代价，并利用 Renyi DP 紧密评估端到端 DP 保证。实验结果验证了该方法在隐私保证和通信效率方面的优于之前的方法。

    Aug, 2020

  • 使用稀疏模型扰动的联邦学习：在客户端级别的差分隐私下提高准确性

    本篇论文提出了一种名为 Fed-SMP 的新型差分隐私联邦学习方案，该方案采用 Sparsified Model Perturbation (SMP) 技术，在保持高模型准确性的同时，提供客户端级差分隐私保证，并使用 Renyi DP 提供紧密的隐私分析，并证明了 Fed-SMP 收敛性，通过实验数据证明了 Fed-SMP 提高了模型准确性并同时节省通信成本。

    Feb, 2022

  • 自适应梯度稀疏化用于高效联邦学习：一种在线学习方法

    本文提出了一种公平性感知的梯度稀疏化方法，以及一种自适应梯度稀疏化技术，能够在控制梯度稀疏度的情况下，最小化整体训练时间，实验结果表明，相对于传统方法，通过本文所提方法，能够在有限的训练时间内提升 40% 的模型准确度。

    Jan, 2020

  • 保护隐私的联邦原始 - 对偶学习用于模型稀疏化的非凸和非平滑问题

    提出了一种用于非凸和非平滑联邦学习问题的新型原始 - 对偶算法，结合双向模型稀疏化和差分隐私，以保证强隐私，通过真实数据上的大量实验验证了该算法的有效性和比某些最先进的联邦学习算法更出色的性能，并验证了所有分析结果和特性。

    Oct, 2023

  • 具有本地差分隐私的无线联邦学习

    本研究针对高斯多址信道上受局部差分隐私约束的联邦学习问题进行研究，通过研究发现，无线信道的叠加性质提供了两重好处：在保证用户隐私的情况下实现带宽高效的梯度聚合，并提出了一种私有无线梯度聚合方案，并研究了该方案的收敛速度、无线资源和隐私权衡的关系。

    Feb, 2020

  • 运用自适应差分隐私和基于优先级的聚合增强联邦学习

    通过个性化差分隐私框架和考虑各种异构性和属性调整的方法，该论文提出了一种高效地保护隐私的个性化差分隐私框架，并对联邦学习算法的收敛边界进行了分析，同时进一步研究了考虑时间变化的个性化因素的收敛性质。

    Jun, 2024

  • 在客户端差分隐私下实现更平缓的模型优化路径和更好的泛化效果的联邦学习

    通过梯度扰动和局部平坦模型来提高权重扰动鲁棒性和性能，进而减少感知信息泄露，DP-FedSAM 算法在 DPFL 中达到最先进的性能。

    May, 2023

  • 具有内在隐私的通信和能源高效的无线联邦学习

    本文提出了一种无线边缘私有联邦学习方案 PFELS，通过奇异值稀疏化降低通信通信和能源消耗，提高交付速度，保证客户端级别的差分隐私，实现共享全局模型过程中的隐私安全保障。实验结果表明，与现有技术相比，PFELS 在保持同等差分隐私保障的同时能提高准确率和节省通信和能源成本。

    Apr, 2023

  • 带本地正则化和稀疏化的差分隐私联邦学习

    研究了在用户级差分隐私保证下联邦学习模型性能下降的原因，提出了两种技术：有界本地更新规则化和本地更新稀疏化，以提高模型质量。实验证明，我们的框架显著改善了联邦学习在用户级差分隐私保证下的隐私效用权衡。

    Mar, 2022

  • 用于快速且通讯高效的联邦学习自适应差分滤波器

    本文提出了在卷积滤波器粒度上操作的新比例方法，以补偿联合学习过程中高度稀疏的更新，适应于新的数据领域，实现更高的压缩比率并提高性能。

    Apr, 2022