Mar, 2024

低成本注重隐私的分散式学习

PDF
TL;DR介绍了 ZIP-DL 这一创新的隐私保护分散式学习算法，通过在模型训练过程中添加相关噪声的方法来确保噪声在聚合过程中几乎自动中和，最小化对模型准确性的影响；ZIP-DL 不需要多次通信来进行噪声抵消，解决了隐私保护和通信开销之间的常见权衡问题，并提供了收敛速度和隐私保证的理论保证，从而使其适用于实际场景；详尽的实验研究表明，ZIP-DL 在漏洞性和准确性之间取得了最佳平衡，特别是相比基线 DL，(i) 将可链接性攻击的有效性降低了最多 52 个百分点，并且 (ii) 在面对针对隐私保护竞争对手的成员推断攻击时，相同漏洞下的准确性提高了最多 37 个百分点。
privacy-aware decentralized learningzip-dlcorrelated noiseprivacy protectionconvergence speed
发现论文，激发创造
  • 去中心化学习的隐私保护聚合算法及其拜占庭容错性

    SecureDL 是一种新颖的分布式机器学习协议，通过安全多方计算保护客户端模型更新的隐私，提高对拜占庭威胁的安全性和隐私保护。该协议使用余弦相似度的有效计算和更新的归一化来稳健地检测和排除对模型收敛有害的模型更新，并在多种拜占庭攻击中表现出很高的有效性，并保持较高的训练准确性。

    Apr, 2024

  • 去中心化学习中的隐私保护、抗干扰聚合

    分布式学习是机器学习中一种新颖的范例，通过在客户端之间分发训练数据而不进行集中聚合来提升可扩展性和效率。本文提出了三种基于秘密共享的抗丢失模型的隐私保护方法，通过在多个数据集上进行实验评估了这些方法的效率、性能和准确性。实验结果表明，我们的方法在保护隐私和抵御客户端丢失的场景中表现显著优于传统方法，尤其适用于大型模型、较高的丢失率和复杂的客户端网络。

    Apr, 2024

  • 去中心化学习中相关噪音的隐私保护能力

    本文提出了 Decor，它是一种具有差分隐私保证的分散式 SGD 变体，通过一轮通信中安全地交换随机种子来生成成对抵消的相关高斯噪声，以保护每一轮通信中的本地模型，并在理论上和实践上证明 Decor 在任意连通图中匹配了中心化差分隐私的最佳隐私 - 效用折衷，并在 SecLDP 下实现了所有用户通信的保护，假设每对连接的用户共享一个密钥作为隐藏信息。

    May, 2024

  • 基于知识蒸馏的本地差分隐私分布式深度学习

    本文提出了一种隐私保护的分布式深度学习框架 LDP-DL, 通过使用本地差分隐私和知识蒸馏进行模型训练。实验结果表明，在三个常用深度学习数据集 (CIFAR10, MNIST, FashionMNIST) 上的实验中，LDP-DL 在隐私预算和模型准确性方面均优于其他竞争对手。

    Feb, 2022

  • 具有相关噪声的差分隐私在线联邦学习

    我们提出了一种新颖的差分隐私算法，用于在线联合学习，通过使用时间相关的噪声来提高效用并确保连续发布的模型的隐私性。

    Mar, 2024

  • 带有保证最优性的本地差分私有分布式在线学习

    该论文提出了一种针对分布式在线学习的隐私保护算法，在保证微分隐私的同时提高算法的学习准确率，并采用本地微分隐私算法框架来避免对数据收集方的信任，有效地对包括逻辑回归和基于 CNN 的图像分类等任务进行了测试。

    Jun, 2023

  • 超越噪声：带有虚拟节点的隐私保护去中心化学习

    Shatter 是一种新型的分散式学习方法，通过创建虚拟节点（VNs）来增强隐私保护，防止攻击者收集完整模型并隐藏原始节点的身份。该方法在提高隐私安全性的同时，对于模型收敛性也有积极影响。

    Apr, 2024

  • 深度学习中的本地差分隐私

    该研究提出了一种名为 LATENT 的本地差分隐私算法，该算法通过将卷积神经网络架构分为卷积模块、随机化模块和全连接模块，并使用新的差分隐私协议实现随机化模块作为网络功能虚拟化隐私保护服务，在边缘 - 云协同中使得保护隐私的深度学习在物联网环境下更加实用。

    Aug, 2019

  • 通过合成文本生成实现差分隐私知识蒸馏

    利用差分隐私的知识蒸馏算法，通过利用合成数据和教师模型的输出分布，成功地在压缩自回归型大型语言模型的同时保护训练数据的隐私。

    Mar, 2024

  • 高效通信与隐私保护的分散化元学习

    在这篇论文中，我们提出了一种名为 LoDMeta（本地分布式元学习）的方法，利用本地辅助优化参数和模型参数的随机扰动来降低通信成本并提高数据隐私保护。理论结果和实证结果都表明，LoDMeta 与集中式元学习算法相比具有相似的元学习准确性，但不需要从每个客户端收集数据，并且能够更好地保护每个客户端的数据隐私。

    Jun, 2024