Jun, 2023

基于共识算法的差分隐私分散深度学习

PDF
TL;DR本研究提出了一种基于不同隐私的分散式深度学习方法，该方法对协作学习的数据进行隐私保护，保障节点之间数据的安全交换。实验结果表明，在稀疏图和不均匀数据分布下，不同隐私梯度跟踪具有抗干扰性，并且可在不向其他代理共享原始数据的情况下学习高准确性模型。
cooperative decentralized deep learningdifferentially private decentralized learningdp-sgdgraph connectivityprivacy budget
发现论文，激发创造
  • 私隐差分深度学习的高效可扩展训练

    差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

    Jun, 2024

  • 如何民主化和保护人工智能：公平与差分私有的分散式深度学习

    该论文提出了一种基于声誉系统的去中心化深度学习框架，它利用数字代币、本地可信度和差分隐私来确保公平性和隐私保护，实验结果显示其在三种实际环境下均能取得高度公平性，并且精度与集中式和分布式框架相当，高于单独框架。

    Jul, 2020

  • 定向图中分布式在线学习的本地差分隐私梯度跟踪

    本研究提出了一种基于梯度追踪的本地差分隐私分布式在线学习算法，通过确保严格的本地差分隐私，该算法在均方意义下收敛于精确的最优解，即使在迭代次数趋向无穷的情况下，累积隐私预算也是有限的。在实验中，该算法在多个基准机器学习应用中表现良好，并且在训练和测试准确性方面均优于现有的对应方法。

    Oct, 2023

  • 梯度看起来相似：DP-SGD 中的敏感性经常被高估

    本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

    Jul, 2023

  • 基于模拟退火的差分隐私随机梯度下降算法

    本文提出了一个基于模拟退火算法的差分隐私随机梯度下降（SA-DPSGD）方案，该方案通过对候选更新进行概率筛选，使得梯度下降朝着正确方向进行，并最终获得更准确的模型。在 MNIST、FashionMNIST 和 CIFAR10 数据集上进行的实验结果表明，与现有方法相比，本文提出的方案更为有效。

    Nov, 2022

  • 动态差分隐私保护随机梯度下降

    本文提出了动态 DP-SGD 算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

    Oct, 2021

  • 一种自适应快速收敛的差分隐私深度学习方法

    本文提出了 ADADP 算法，该算法是一种自适应且具有可证明隐私保证的学习算法，通过引入自适应噪声以及自适应学习率，显著降低了隐私成本并减轻了差分隐私对模型准确性的负面影响。ADADP 在真实数据集上的实验结果表明，它在隐私成本和模型准确性方面都优于最先进的具有差分隐私的方法。

    Dec, 2019

  • 基于知识蒸馏的本地差分隐私分布式深度学习

    本文提出了一种隐私保护的分布式深度学习框架 LDP-DL, 通过使用本地差分隐私和知识蒸馏进行模型训练。实验结果表明，在三个常用深度学习数据集 (CIFAR10, MNIST, FashionMNIST) 上的实验中，LDP-DL 在隐私预算和模型准确性方面均优于其他竞争对手。

    Feb, 2022

  • 通过尺度解锁高精度差分隐私图像分类

    本文主要研究采用差分隐私保护方法进行深度学习的训练，并在调优超参数以及利用一些技巧来提高信号传播和收敛速度的基础上，在图像分类任务中获得了新的最高精度，证明了采用过参数化模型的 DP-SGD 方法也可以实现更好的性能，这是在私有和非私有图像分类之间精度差距缩小的一个重要步骤。

    Apr, 2022

  • 深度学习差分隐私模型发布

    提出了一种基于集中差分隐私的神经网络训练方法，通过动态隐私预算分配和新的优化技术来提高模型准确性、训练效率和隐私保护能力。

    Apr, 2019