Jan, 2022

巨型数据集 ImageNet 规模下使用差分隐私进行训练

PDF
TL;DR本文旨在探究如何使用差分隐私来训练机器学习模型，以 ImageNet 图像分类为例，展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法，使我们能够使用 DP 来训练一个 ResNet-18，精度为 47.9％。虽然这比 “朴素” 的 DP 训练要好，但是离没有隐私的情况下的 75％精度还有很大的差距。
differential privacymachine learningneural networksdp trainingimagenet
发现论文，激发创造
  • 通过尺度解锁高精度差分隐私图像分类

    本文主要研究采用差分隐私保护方法进行深度学习的训练，并在调优超参数以及利用一些技巧来提高信号传播和收敛速度的基础上，在图像分类任务中获得了新的最高精度，证明了采用过参数化模型的 DP-SGD 方法也可以实现更好的性能，这是在私有和非私有图像分类之间精度差距缩小的一个重要步骤。

    Apr, 2022

  • 具有有限公共数据的差分隐私模型的预训练

    通过使用有限的公共数据，我们提出了一种新颖的差分隐私持续预训练策略，可以显著减轻差分隐私优化器的性能下降问题，并在 ImageNet-21k 上实现 41.5% 的差分隐私准确率（ε=8），以及在下游任务 Places365 和 iNaturalist-2021 上分别达到 55.7% 和 60.0% 的非差分隐私准确率，与当前最先进的标准预训练方法相媲美并且明显优于现有的差分隐私预训练模型。

    Feb, 2024

  • 解锁差分隐私图像分类的准确度与公平性

    预训练的基础模型经差分隐私微调可在下游任务中实现接近非隐私分类器的准确性，并且在四个数据集中实现与非隐私技术的准确性相差不多，包括两个医学成像基准数据集。此外，我们的隐私医学分类器在不同人口群体之间没有更大的性能差异。此里程碑使得差分隐私训练成为一项实用且可靠的技术，有潜力广泛应用于敏感数据的安全机器学习训练，同时保护个人隐私。

    Aug, 2023

  • 深度学习与差分隐私

    本论文提出新的算法技术，包括隐私成本的细化分析，并在差分隐私框架下进行。 实验结果表明：我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络，而且在软件复杂性、训练效率和模型质量上具有可管理的成本。

    Jul, 2016

  • 差分隐私对模型准确性影响不一

    本文研究的 DP-SGD 算法在训练神经网络时，由于梯度裁剪和噪声加法等机制对复杂和少数类样本的影响更大，造成训练模型的准确率不公平，使 DP-SGD 算法不适用于存在不平衡类别数据的训练任务。

    May, 2019

  • 通过图像字幕实现差分隐私表示学习

    在这项工作中，我们通过图像字幕和扩大到互联网规模的多模态数据集，通过一系列的工程技巧，成功地从头开始训练了一个差分隐私图像字幕生成器（DP-Cap），并获得了前所未有的高质量图像特征，可用于各种下游视觉和视觉语言任务。

    Mar, 2024

  • 深度学习差分隐私模型发布

    提出了一种基于集中差分隐私的神经网络训练方法，通过动态隐私预算分配和新的优化技术来提高模型准确性、训练效率和隐私保护能力。

    Apr, 2019

  • 判别式对抗隐私：在神经网络中平衡准确性和成员隐私

    本文提出了一种名为 “判别性对抗隐私”（DAP）的新型学习技术，该技术通过达到模型性能、速度和隐私之间的平衡来解决 DP 的局限性。DAP 依靠对抗训练，基于一种新的损失函数，该函数能够最小化预测误差并最大化 MIA 的误差。此外，我们引入了一种名为 “准确性隐私权”（AOP）的新指标来捕捉性能 - 隐私权衡。最后，为了验证我们的观点，我们将 DAP 与不同的 DP 情景进行比较，并从性能、时间和隐私保护角度分析结果。

    Jun, 2023

  • 高斯差分隐私深度学习

    本文研究了深度学习中隐私方面的问题，提出了一种新的隐私定义 ——f - 差分隐私，并利用其可处理复合和子采样的性质，推导出了一种更简单的隐私分析方法。在图像分类、文本分类和推荐系统等任务中的实验结果表明，该方法可以在保证隐私的前提下提高神经网络的预测准确率。

    Nov, 2019

  • 使用输出特定和数据解析隐私配置文件探究 ML 模型的数据集级隐私转变

    本文研究了衡量数据集上 DP 机制对模型隐私保护的能力的新指标 - 隐私覆盖度，并提出了使用该指标排名训练集中样本隐私的方法，进而使用观察到的邻域分布的不可区分性转换来选择 epsilon 值。

    Jun, 2023