Feb, 2021

联邦学习中隐私泄露的定量指标

PDF
TL;DR本文提出了一种基于互信息的量化度量方法，用于评估联邦学习中客户端数据的梯度信息泄露风险，并提供了一种新的方法来估算高维梯度和批处理输入数据之间的互信息。实验结果表明，该指标可靠地反映了联邦学习中信息泄露的程度，并证明了风险程度与任务模型状态以及内在数据分布相关。
federated learninginformation leakagemutual informationgradientrisk evaluation
发现论文，激发创造
  • 联邦学习中潜在信息泄露的逐层特征化

    该论文通过定义两个基于 V-information 和 Jacobian 矩阵的度量标准，分析属性推断攻击，测量作为迭代模型接口的梯度的改变，进而在实践中评估联邦学习下隐私信息泄漏的数量。

    Oct, 2020

  • 混合精度量化解决联邦学习中的梯度泄露攻击

    研究提出了混合精度量化 FL 方案作为反制措施，该方案可解决加密密钥的生成过程由于客户端数量增加而变得繁琐的难题，同时通过量化不同精度不同模式中深度模型的不同层，使该方案具有更多的鲁棒性，实证分析证明，应用量化后全局模型的准确性仅有轻微下降。

    Oct, 2022

  • 联邦学习中评估渗漏攻击的框架

    本文提出了一个原则性框架来评估和比较不同形式的客户隐私泄漏攻击。我们提供了正式和实验分析表明，攻击者可以通过分析本地训练的共享参数更新 (例如，本地梯度或权重更新向量) 来重构私有本地训练数据。该论文还分析了联邦学习中不同超参数配置和攻击算法设置对攻击效果和代价的影响，并且给出了在使用通信高效的 FL 协议时不同梯度压缩比下客户隐私泄漏攻击的有效性的测量、评估和分析。 最后，我们提供了一些初步的缓解策略，以突出提供系统化的攻击评估框架来深入了解联邦学习中各种形式的客户隐私泄漏威胁并发展攻击缓解的理论基础。

    Apr, 2020

  • 使用梯度混合策略增强联邦学习中的隐私保护

    本文探究了几个神经网络设计决策如何防御梯度反演攻击，提出重叠梯度可以在高度易受攻击的全连接层上提供数值抵抗，并通过合适的损失函数和相同标签的批处理最大程度地混合梯度，从而避免了数据泄露的风险，并提出了一个基于绝对变异距离的信息泄露连续统计，最终通过经验结果验证所提出的防御策略对信息恢复有一定的应用。

    Apr, 2022

  • 反演梯度 —— 联邦学习隐私保护的易破性探究

    本文研究联邦学习中参数梯度共享机制的安全性，并通过实证研究表明，在计算机视觉领域，即使对多个迭代或多个图像进行梯度平均处理，也无法保护用户隐私。

    Mar, 2020

  • 梯度混淆在联邦学习中会产生虚假的安全感

    本文提出针对联邦学习中的图像分类任务的新型数据重构攻击框架，并证明了通常采用的梯度后处理程序可能会给联邦学习中的数据隐私保护带来虚假的安全感。作者设计了一种基于语义级数据重构的新方法，并与传统的基于图像相似度分数的方法进行了比较。结果表明，需要重新审视和重新设计现有联邦学习算法中客户端数据隐私保护机制的重要性。

    Jun, 2022

  • 联邦学习中泛化错误和隐私泄漏的信息理论界限

    这篇论文提供了针对分布式学习、联邦学习和经典机器学习的信息理论框架，同时研究了这些学习范式中的一般化误差和隐私泄露的上下界限制。

    May, 2020

  • 梯度泄漏的贝叶斯框架

    本论文提出渗漏隐私问题的理论框架并通过实验论证现有的一些启发式防御措施并不能有效防范更加强大的攻击。因此，构建更加有效的防御措施及其评估仍是一个未解决的开放问题。

    Nov, 2021

  • 跨域联邦学习的数据集相似度通用度量

    我们提出了一种用于评估数据集相似性的新型指标，该指标具有 FL 所需的几个理想特性：与数据集无关、以隐私保护的方式计算、计算效率高，无需模型训练。我们在合成、基准和医疗成像数据集等一系列数据集上对这一指标进行了广泛评估，证明了它与模型性能具有稳健且可解释的关系，并且可以以隐私保护的方式计算。作为第一个联邦数据集相似性指标，我们相信这一指标可以更好地促进站点之间的成功合作。

    Apr, 2024

  • 通过生成的渐变泄露审计联邦学习中的隐私防御

    本文探讨了如何避免在联邦学习框架下，通过梯度信息泄露用户隐私的问题，并提出了一种名为生成梯度泄露的新型隐私泄露方法。作者为了解决这个问题，探讨了各种无梯度优化方法，并相对于梯度优化方法实现了更好的高质量图像重建效果。

    Mar, 2022