May, 2018

cpSGD：通信高效和不同 ially-private 的分布式 SGD

PDF
TL;DR本文探讨了在移动设备上实现通信效率和差分隐私相结合的分布式随机梯度下降算法，其中引入了 Binomial 机制以实现近似于高斯机制的效用，同时减少了表示位的数量。
发现论文，激发创造
  • 一种稀疏差分高斯掩码分布式 SGD 方法：私密且通信高效的边缘学习

    本文提出了一种新的分散式隨機梯度方法，用於非凸分散式邊緣學習，以提高數據隱私和通信效率的性能指標。該方法在理論上確立了隱私性和通信效率的性能保證，實驗結果證明了該方法能夠兼顧兩者，是現有作品的優秀方法。

    Jan, 2020

  • 基于共识算法的差分隐私分散深度学习

    本研究提出了一种基于不同隐私的分散式深度学习方法，该方法对协作学习的数据进行隐私保护，保障节点之间数据的安全交换。实验结果表明，在稀疏图和不均匀数据分布下，不同隐私梯度跟踪具有抗干扰性，并且可在不向其他代理共享原始数据的情况下学习高准确性模型。

    Jun, 2023

  • 私隐差分深度学习的高效可扩展训练

    差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

    Jun, 2024

  • 差分隐私分布式受限制优化

    本文提出了一种分布式优化算法，通过引入差分隐私的方法来保护隐私信息，该算法通过加性噪声扰动公共信号，噪声的大小由投向用户指定约束条件的投影运算的灵敏度决定，将它视为随机梯度下降的一种实现，并通过对其次优性的边界估计来评估算法的性能，同时对电动汽车充电场景进行了数值模拟，评估了算法在实践中的使用效果，包括步长的选择、迭代次数以及隐私级别和子优延迟之间的权衡问题。

    Nov, 2014

  • 一石二鸟：量化实现分布式学习隐私

    提出了一种量化解决方案，该方案能够同时实现通信效率和隐私保护，并通过在分布式随机梯度下降框架中将二项式噪声加入到均匀量化的梯度中来证明其有效性，从而在通信、隐私和学习性能之间实现新的平衡。

    Apr, 2023

  • 梯度看起来相似：DP-SGD 中的敏感性经常被高估

    本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

    Jul, 2023

  • 动态差分隐私保护随机梯度下降

    本文提出了动态 DP-SGD 算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

    Oct, 2021

  • 采样机制下的个性化 DP-SGD

    基于个性化采样机制的深度学习 DP-SGD 扩展算法，支持针对不同用户的个性化差分隐私保护，实验证明其性能和效率优于现有的 DP-SGD 和 PDP 机制。

    May, 2023

  • 更快的分布式深度神经网络训练：计算和通信解耦合的随机梯度下降

    本文提出了 Computation and Communication Decoupling Stochastic Gradient Descent (CoCoD-SGD) 算法，实现了计算和通信的并行处理，有效减少了通信开销，较传统分布式 SGD 算法具有更高的时间加速度，在 16 个 GPU 上的 ResNet18 和 VGG16 深度神经网络训练表现出 2-3 倍的速度提升。

    Jun, 2019

  • 自适应每次迭代隐私预算的集中式差分隐私梯度下降

    本文说明如何通过更加精心地分配每个迭代的隐私预算，从而改进基于梯度的算法，提高其对模型拟合的性能。

    Aug, 2018