Jun, 2023

从随机过程中学习先验知识的差分隐私图像分类

HTML
PDF
TL;DR本研究提出了DP-RandP方法，并从随机过程生成的图像中学习先验知识，并将这些先验知识传递给私有数据，从而提高了差分隐私随机梯度下降DP-SGD的隐私效用权衡的性能，并在CIFAR10，CIFAR100和MedMNIST数据集上实现了新的最佳准确度。
发现论文，激发创造
  • 归一化层对深度神经网络差分隐私训练的影响

    本文研究了标准梯度下降算法的隐私保护版本DPSGD中归一化层的影响，证明了在带有噪声参数的深度神经网络中归一化层显著地影响着其效用，提出了一种新的方法将批归一化与DPSGD集成起来，以获得更好的效用-隐私权衡。

    Jun, 2020

  • 不是所有的噪声都是相同计算的：不同隐私学习从大样本率中受益

    本文着重研究了隐私预算的问题，提出了一套训练范式，通过调整噪声比例，使更多的噪声能被纳入隐私预算，从而在保护隐私和维护计算效用之间提供一种更好的平衡方案。

    Oct, 2021

  • 动态差分隐私保护随机梯度下降

    本文提出了动态DP-SGD算法，通过动态调整剪裁阈值和噪声幅度来降低性能损失，同时保持隐私，从而显著提高了模型的准确性。

    Oct, 2021

  • 通过尺度解锁高精度差分隐私图像分类

    本文主要研究采用差分隐私保护方法进行深度学习的训练，并在调优超参数以及利用一些技巧来提高信号传播和收敛速度的基础上，在图像分类任务中获得了新的最高精度，证明了采用过参数化模型的DP-SGD方法也可以实现更好的性能，这是在私有和非私有图像分类之间精度差距缩小的一个重要步骤。

    Apr, 2022

  • 基于模拟退火的差分隐私随机梯度下降算法

    本文提出了一个基于模拟退火算法的差分隐私随机梯度下降（SA-DPSGD）方案，该方案通过对候选更新进行概率筛选，使得梯度下降朝着正确方向进行，并最终获得更准确的模型。在MNIST、FashionMNIST和CIFAR10数据集上进行的实验结果表明，与现有方法相比，本文提出的方案更为有效。

    Nov, 2022

  • 梯度看起来相似：DP-SGD中的敏感性经常被高估

    本文发展了一种新的DP-SGD分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。

    Jul, 2023

  • 特征预处理对差分隐私线性优化的重要性

    用差分隐私训练机器学习模型的方法在近年来受到越来越多的关注。我们通过研究线性分类的简单案例，首次展示出在差分隐私优化中，除了使用差分隐私随机梯度下降算法（DPSGD）外，特征预处理对于优化结果的重要性。我们提出了一种名为DPSGD-F的算法，结合了DPSGD和特征预处理，并证明了对于分类任务，它的隐私误差与特征的直径成正比。我们还通过图像分类基准测试展示了我们算法的实用性。

    Jul, 2023

  • 解锁差分隐私图像分类的准确度与公平性

    预训练的基础模型经差分隐私微调可在下游任务中实现接近非隐私分类器的准确性，并且在四个数据集中实现与非隐私技术的准确性相差不多，包括两个医学成像基准数据集。此外，我们的隐私医学分类器在不同人口群体之间没有更大的性能差异。此里程碑使得差分隐私训练成为一项实用且可靠的技术，有潜力广泛应用于敏感数据的安全机器学习训练，同时保护个人隐私。

    Aug, 2023

  • 超越平均数：差分隐私原型的私有转移学习

    通过利用已公开训练的编码器从私有数据中提取特征并生成代表嵌入空间中每个私有类的差异化隐私原型，DPPL提供了高效预测和强隐私保证，即使在纯差分隐私概念下，也能在高隐私和低数据环境以及私有训练数据不平衡时表现出优秀性能。

    Jun, 2024

  • DP-Weights：让任何模型拥有差分隐私

    使用差分隐私和加噪声的方法对机器学习模型进行训练，通过对模型的权重添加噪声来实现隐私和效用的平衡，并通过实验证明了该方法的有效性，为在实际场景中部署差分隐私模型提供了一种实用的替代方案。

    Jun, 2024