May, 2024

去中心化学习中的安全聚合与稀疏化相遇

PDF
TL;DR分布式学习面临隐私泄露的问题，本论文引入了一种新的安全聚合协议 CESAR，通过与现有的稀疏化机制相兼容，提高了通信效率，同时对抗恶意和好奇的对手。实验证明 CESAR 在并行随机梯度下降中保持很高的准确性，而仅增加 11% 的数据开销，并在独立同分布数据上优于 TopK 法达到最多 0.3% 的准确度提升。
decentralized learningsecure aggregationsparsificationcesarprivacy breaches
发现论文，激发创造
  • 联邦学习的通信 - 计算高效安全聚合

    提出使用稀疏随机图而非完全图来设计共享节点拓扑的低复杂度方案，在保证可靠性和隐私性的前提下，相对于现有的安全解决方案大幅度降低了通信 / 计算资源使用量。

    Dec, 2020

  • 去中心化学习的隐私保护聚合算法及其拜占庭容错性

    SecureDL 是一种新颖的分布式机器学习协议，通过安全多方计算保护客户端模型更新的隐私，提高对拜占庭威胁的安全性和隐私保护。该协议使用余弦相似度的有效计算和更新的归一化来稳健地检测和排除对模型收敛有害的模型更新，并在多种拜占庭攻击中表现出很高的有效性，并保持较高的训练准确性。

    Apr, 2024

  • 用户数据联邦学习的实用安全聚合

    本文设计了一种新的通信有效的安全聚合协议，适用于在移动设备上跨用户训练数据使用分布式随机梯度下降算法进行联邦学习模型的训练，从而保护每个用户的模型梯度，并且在大规模的高维数据上具有较好的性能表现。

    Nov, 2016

  • 安全聚合无法抵御成员推断攻击

    在这篇论文中，我们通过将其视为每个本地更新的局部差分隐私机制，深入探讨了 SecAgg 的隐私影响。我们设计了一种简单的攻击方式，其中一个对抗性的服务器试图在 SecAgg 下的单一训练轮中辨别客户端提交的两个可能的更新向量之一。通过进行隐私审计，我们评估了该攻击的成功概率，并量化了 SecAgg 提供的局部差分隐私保证。我们的数值结果揭示，与普遍的声明相反，即使在单一的训练轮中，SecAgg 在成员推断攻击方面也提供了较弱的隐私。事实上，当高维度更新时，很难通过添加其他独立的本地更新来隐藏一个本地更新。我们的发现强调了在联邦学习中需要额外的隐私增强机制，比如噪声注入。

    Mar, 2024

  • 通过模型不一致性规避联邦学习中的安全聚合

    该研究论文探讨了安全聚合在联邦学习中的应用，发现不当使用安全聚合和缺乏参数校验等问题威胁着联邦学习的隐私和数据安全，提出了两种攻击手法，揭示了当前安全聚合在联邦学习领域中的薄弱之处。

    Nov, 2021

  • FastSecAgg: 面向隐私保护的联邦学习可扩展安全聚合

    本文提出了一种高效且具有鲁棒性的安全聚合协议 FastSecAgg，该协议基于快速傅里叶变换的新型多秘密分享方案 FastShare，可在保障数据隐私的同时，显著降低了计算和通信成本。FastSecAgg 可以有效地防范恶意攻击，使得在联邦学习场景下，客户端的模型数据可以更加安全地聚合到服务端进行更新。

    Sep, 2020

  • 混洗模型下的可扩展差分隐私分布式聚合

    该论文提出了一个在混淆模型下更高效的隐私安全的聚合协议，可以使得通信量和误差只呈对数级增长，并且采用了一个称为 ' 隐身斗篷 ' 的新技术来实现此目的，该技术可以使得每个数据项与噪声几乎不可区分，同时对总和不会造成任何扭曲。

    Jun, 2019

  • 在联邦学习中防范多轮隐私泄露：保障安全聚合

    本研究提出一种具有多轮隐私保障的安全聚合框架，包括一个新的衡量指标来量化联邦学习的隐私保证，并开发了一种结构化的用户选择策略来保证每个用户的长期隐私（在任意数量的训练轮次下），并在 MNIST 和 CIFAR-10 数据集上进行了实验。

    Jun, 2021

  • 在联邦学习中协调安全性和通信效率

    本文解决了跨设备联邦学习中通信效率问题并提出了一种基于安全聚合的压缩方法，使得在保证通信安全的前提下能够实现高效联邦学习。

    Jul, 2022

  • 分布式离散高斯机制在带有安全聚合的联邦学习中的应用

    本文提出了一种基于离散高斯和安全聚合的训练模型方法，以保护私有数据。通过数据量化和添加离散高斯噪音，能够实现通信、隐私和准确性之间的复杂平衡，此方法在少于 16 位精度的情况下几乎能匹配集中式差分隐私的准确性水平。

    Feb, 2021