本文针对机器学习中的差分隐私引入了『utility-privacy trade-off』，并提出了一种名为 DPSGD-F 的修改版随机梯度下降算法来消除差分隐私对受保护群体的不平等影响，具有『adaptive clipping』的特点。我们的实验证明了群体样本大小和群体剪辑偏差如何影响 DPSGD 中差分隐私的影响，以及 DPSGD-F 中如何采用自适应剪辑来减轻差分隐私造成的不平等影响。

Mar, 2020

本文研究的 DP-SGD 算法在训练神经网络时，由于梯度裁剪和噪声加法等机制对复杂和少数类样本的影响更大，造成训练模型的准确率不公平，使 DP-SGD 算法不适用于存在不平衡类别数据的训练任务。

May, 2019

通过广泛的评估结果，我们证明不同隐私度对公平性的影响并非单调。相反，我们观察到准确性差异在机器学习过程中添加更多的差分隐私噪声（增强隐私）时初步增加，但在更高隐私水平下通过更多噪声后逐渐减小。此外，通过在差分隐私随机梯度下降机器学习方法中实施梯度剪裁，可以减轻隐私噪声对公平性的负面影响。这种缓和是通过较低的剪裁阈值来调节差异性增长实现的。

Apr, 2024

研究了不同程度数据不平衡和隐私保证对深度学习模型准确性和公平性的影响，并发现即使数据有小的不平衡和较宽松的隐私保证也会引起非公平性。

Sep, 2020

通过应用 DP-SGD 的标准方法来评估其对多个公平性指标的影响，我们发现，在线性分类和鲁棒深度学习情况下，隐私和公平性之间存在负的对数相关性。

Feb, 2022

本文探讨差分隐私对公平性的影响，并评估隐私保护机制对公平性的影响。结果发现，差分隐私在基线设置下会增加组间性能差异，但在鲁棒设置下会减少组间性能差异，解释了这是由于差分隐私被重新解释为规范化的结果。

Mar, 2022

选取适用于差分隐私的最佳模型架构是实现在一定隐私预算下使用差分隐私随机梯度下降 (DP-SGD) 获得最佳效用的关键。本文通过使用标准数据集和严格的实验协议，表明选择适用于 DP-SGD 的最佳模型体系结构时，与最大化效用的非隐私基线相比，相关的公平性指标差异跨组会更少或可以忽略不计，这些发现挑战了关于在基于偏见数据集训练的深度学习模型中差分隐私必然加剧不公平性的理解。

Feb, 2023

本文比较了两种应用差分隐私机制（DP-SGD 和 PATE）训练深度学习模型的公平性表现，结果发现虽然 PATE 也存在公平性问题，但相对于 DP-SGD 影响更小。文章给出了一些可行的解决方向以取得更好的公平 - 隐私权衡。

Jun, 2021

差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP-SGD 实现和使用低精度进行训练，最后我们还研究了使用多达 80 个 GPU 的扩展行为。

Jun, 2024

本文介绍了一种名为 IDP-SGD 的变体 DP-SGD 方法，它支持个性化隐私预算，旨在实现不同用户数据的个性化隐私保护，并通过提高隐私效益权衡的方法得到实证结果。

Mar, 2023