Oct, 2021

具分布式探测的差分隐私联邦贝叶斯优化

HTML
PDF
TL;DR在联邦学习中添加差分隐私框架来保护用户隐私，并结合分布式探索技术进一步提高效能，从而实现隐私保护和效能之间的权衡。
发现论文，激发创造
  • 差分隐私联邦学习：客户端视角

    提出了一种新的算法，通过差分隐私保护的联邦优化算法来处理联邦学习中的差分攻击问题，能够在只牺牲模型性能的小量代价下保持客户端差分隐私。

    Dec, 2017

  • 随机签到的隐私扩大

    本文介绍了一种分布式协议，称为随机签到分布式协议，它可用于联合学习等环境中的差分隐私随机梯度下降，在隐私和准确性之间实现了权衡，并且不需要服务器发起通信或了解总体规模。同时，作者还扩展了隐私放大技术，以在使用数量更少的用户数据时提供相似的隐私保护和效用。

    Jul, 2020

  • 无抽样或洗牌的实用且保密的(深度)学习

    使用差分隐私的 Follow-The-Regularized-Leader（DP-FTRL）是一种比DP-SGD更加灵活的模型训练方法，在隐私、准确性和计算方面表现都很好，特别适用于联邦学习等实际场景，同时也不需要使用任何隐私扩展。

    Feb, 2021

  • 无需可信服务器的私有联邦学习：凸损失的最优算法

    本文探讨了交叉跨层联合学习中数据隐私保护的问题，提出了基于ISRL-DP的加速算法，并在分类和回归任务中展示了较好的隐私-准确性平衡。

    Jun, 2021

  • 具有贝叶斯隐私的联邦深度学习

    通过提出的 Bayesian Privacy 框架，本文的研究成功地量化了隐私损失，证明了其安全的隐私保护能力，通过各种深度神经网络图像分类 MNIST、CIFAR10 和 CIFAR100 的实验结果，演示了一种新的联邦深度学习方法，该方法使用私有通行证层，具有高模型性能、隐私保护能力和低计算复杂性的特点。

    Sep, 2021

  • 使用稀疏模型扰动的联邦学习：在客户端级别的差分隐私下提高准确性

    本篇论文提出了一种名为 Fed-SMP 的新型差分隐私联邦学习方案，该方案采用 Sparsified Model Perturbation (SMP) 技术，在保持高模型准确性的同时，提供客户端级差分隐私保证，并使用 Renyi DP 提供紧密的隐私分析，并证明了 Fed-SMP 收敛性，通过实验数据证明了 Fed-SMP 提高了模型准确性并同时节省通信成本。

    Feb, 2022

  • 自适应局部步骤联邦学习的收敛分析驱动下差分隐私

    在资源受限的情况下重新考虑差分隐私联邦学习的框架，并分析其在收敛性方面的情况，提出了自适应本地步差分隐私联邦学习(ALS-DPFL)算法。通过在FashionMNIST和CIFAR-10数据集上的实验，相对于以往的工作，我们取得了相当良好的性能。

    Aug, 2023

  • 自适应差分隐私在联邦学习中的基于优先级的方法

    通过采用自适应噪声添加技术，我们提出了一种针对联邦学习的改进方案，根据特征的相对重要性决定注入噪声的数值，以平衡隐私和模型准确性的关系。实验证实了在一定条件下，通过慎重选择参数，可以提高隐私保护而减少模型性能的损失。

    Jan, 2024

  • 私有和联邦随机凸优化: 集中系统的高效策略

    在集中式系统中的联邦学习（FL）中，本文解决了在受信任和不受信任服务器场景下保护隐私的挑战，分析了这种设置在随机凸优化（SCO）框架中，并设计了一种方法，以确保差分隐私（DP）同时保持同质和异质数据分布的最佳收敛速率。我们基于一种最近的随机优化技术的方法，提供了线性的计算复杂度，与非私有FL方法相当，并减少了梯度混淆。这项工作在各种服务器信任环境中平衡隐私、效率和稳健性，增强了DP在FL中的实用性。

    Jul, 2024

  • 通用联邦学习的收敛差分隐私分析：f-DP 视角

    本研究针对联邦学习中隐私保护不足的问题展开，探讨了现有对于噪声联邦差分隐私分析的局限性。通过引入 f-DP 分析方法，论文证明了 Noisy-FedAvg 方法在隐私保护中的收敛下界，以及 Noisy-FedProx 方法的稳定隐私下界，为联邦学习的隐私保护提供了理论支持，并可推广应用至其他差分隐私分析框架。

    Aug, 2024