Jun, 2023

判别式对抗隐私：在神经网络中平衡准确性和成员隐私

PDF
TL;DR本文提出了一种名为 “判别性对抗隐私”（DAP）的新型学习技术，该技术通过达到模型性能、速度和隐私之间的平衡来解决 DP 的局限性。DAP 依靠对抗训练，基于一种新的损失函数，该函数能够最小化预测误差并最大化 MIA 的误差。此外，我们引入了一种名为 “准确性隐私权”（AOP）的新指标来捕捉性能 - 隐私权衡。最后，为了验证我们的观点，我们将 DAP 与不同的 DP 情景进行比较，并从性能、时间和隐私保护角度分析结果。
deep learningmembership inference attacksdifferential privacydiscriminative adversarial privacyaccuracy over privacy
发现论文，激发创造
  • 一种自适应快速收敛的差分隐私深度学习方法

    本文提出了 ADADP 算法，该算法是一种自适应且具有可证明隐私保证的学习算法，通过引入自适应噪声以及自适应学习率，显著降低了隐私成本并减轻了差分隐私对模型准确性的负面影响。ADADP 在真实数据集上的实验结果表明，它在隐私成本和模型准确性方面都优于最先进的具有差分隐私的方法。

    Dec, 2019

  • 通过知识转移确保机器学习模型的会员隐私

    提出了一种新的防御称为 “用于成员隐私的蒸馏（DMP）”，该方法可以提供比其他现有防御更好的成员隐私和分类准确性之间的权衡，使用蒸馏技术训练机器学习模型，从而避免成员推理攻击。

    Jun, 2019

  • 差分隐私与对抗鲁棒机器学习：实证评估

    使用敌对训练和差分隐私训练的组合，本研究探讨了针对同时攻击的防御方法。通过使用成员推断攻击来基准测试 DP-Adv 技术的性能，并实证显示该方法的隐私性与非鲁棒私有模型相当。此外，该研究还强调了在动态训练范式中探索隐私保证的需求。

    Jan, 2024

  • 隐私的代价：探索其对人工智能公平性的双重影响

    通过广泛的评估结果，我们证明不同隐私度对公平性的影响并非单调。相反，我们观察到准确性差异在机器学习过程中添加更多的差分隐私噪声（增强隐私）时初步增加，但在更高隐私水平下通过更多噪声后逐渐减小。此外，通过在差分隐私随机梯度下降机器学习方法中实施梯度剪裁，可以减轻隐私噪声对公平性的负面影响。这种缓和是通过较低的剪裁阈值来调节差异性增长实现的。

    Apr, 2024

  • 巨型数据集 ImageNet 规模下使用差分隐私进行训练

    本文旨在探究如何使用差分隐私来训练机器学习模型，以 ImageNet 图像分类为例，展示如何使用方法和模型类型来让训练过程更好地进行。我们展示了一些方法，使我们能够使用 DP 来训练一个 ResNet-18，精度为 47.9％。虽然这比 “朴素” 的 DP 训练要好，但是离没有隐私的情况下的 75％精度还有很大的差距。

    Jan, 2022

  • 对抗实例化：差分隐私机器学习的下界

    本文针对 DP-SGD，即差分隐私下的随机梯度下降算法，采用对手模型来探究不同的对手能力对于隐私分析的影响，并计算了隐私保护的下限。实验结果表明，现实情况下的对手能力限制显著影响了隐私的泄露程度，这说明已有理论上的隐私上限过于保守。

    Jan, 2021

  • 衡量成员隐私

    研究机器学习模型，提出用 Differential Training Privacy（DTP）来评估发布分类器的隐私风险，并倡导使用 DTP 作为决策过程中的参考，如若分类器 DTP 的值高于 1，则不应发布。

    Dec, 2017

  • 深度学习与差分隐私

    本论文提出新的算法技术，包括隐私成本的细化分析，并在差分隐私框架下进行。 实验结果表明：我们可以在较小的隐私成本下训练具有非凸目标的深度神经网络，而且在软件复杂性、训练效率和模型质量上具有可管理的成本。

    Jul, 2016

  • 解锁差分隐私图像分类的准确度与公平性

    预训练的基础模型经差分隐私微调可在下游任务中实现接近非隐私分类器的准确性，并且在四个数据集中实现与非隐私技术的准确性相差不多，包括两个医学成像基准数据集。此外，我们的隐私医学分类器在不同人口群体之间没有更大的性能差异。此里程碑使得差分隐私训练成为一项实用且可靠的技术，有潜力广泛应用于敏感数据的安全机器学习训练，同时保护个人隐私。

    Aug, 2023

  • 医学影像隐私保护的大规模、公平、准确训练 AI 模型

    本文旨在通过比较隐私保护性训练和非隐私训练，在胸部放射图诊断方面评估两种方法的准确性和公平性，研究发现，在隐私预算为 7.89 的情况下，DP 卷积神经网络与非私有卷积神经网络相比，在保持较高准确性的前提下，性能仅下降了 2.6% 左右，同时，隐私保护训练并不会加剧针对年龄、性别或共病的歧视。

    Feb, 2023