- ICML私隐差分深度学习的高效可扩展训练
差分隐私随机梯度下降（DP-SGD）是在差分隐私下训练机器学习模型的标准算法，其主要缺点是效用下降和显著的计算成本，我们通过综合实证研究量化了差分隐私下训练深度学习模型的计算成本，并对旨在降低成本的方法进行了基准测试，其中包括更高效的 DP - DPDR: 差分隐私深度学习的梯度分解与重构
通过提出 DPDR（差分隐私训练框架）实现隐私保护，通过提前梯度分解和重构、保护增量信息以及更新模型来提高隐私预算的利用效率，理论分析和广泛实验表明 DPDR 在收敛速度和准确性上优于现有基线方法。
- LMO-DP: 为巨型语言模型优化差分隐私微调的随机化机制
通过提出一种新的基于语言模型的最优差分隐私（LMO-DP）机制，我们可以在强隐私环境下使用亚优差分隐私机制来准确微调大规模语言模型，并提出了一种离线最优噪声搜索方法来降低噪声幅度。通过大大优于高斯机制的性能，在 SST-2 数据集上，对具有 - 独立剪切本体和尾部：带重尾的 DPSGD 的高概率保证
我们提出了一种新方法，使用子空间识别技术来区分主体和尾梯度，并使用不同的剪切阈值来减少剪切损失，从而在深度学习中减少梯度的规范，并在实验中得到了显著的结果。
- 近似最紧密的黑盒审计差分隐私机器学习
该研究通过黑盒模型对 Differentially Private Stochastic Gradient Descent (DP-SGD) 算法进行了近乎严格的审计，通过成员推理攻击经验性地估计了 DP-SGD 的隐私泄漏，并且估计结果接 - DP-SGD 的隐私程度如何？
我们展示了 Adaptive Batch Linear Queries (ABLQ) 机制在不同类型的批量采样（洗牌和泊松子采样）下的隐私保证之间存在重大差距，这提示我们在报告 DP-SGD 的隐私参数时要小心。
- 子采样不是魔法：大批量训练对差分隐私随机优化的作用
研究了批量大小对区分隐私随机梯度下降（DP-SGD）中的总梯度方差的影响，旨在理论上解释大批量大小的有用性。发现 DP-SGD 的总梯度方差可以分解为子抽样引起的方差和噪声引起的方差，并证明在迭代次数无限的极限情况下，噪声引起的方差与批量大 - 改善差分隐私线性学习器的目标扰动的隐私性和实用性
在隐私保护机器学习领域中，差分隐私随机梯度下降（DP-SGD）已经超过了目标扰动机制在流行度和兴趣方面。这篇论文通过更严格的隐私分析和新的计算工具对目标扰动机制进行改进，使其在无约束的凸广义线性问题上能够与 DP-SGD 具有竞争力。
- 推理与干扰：在差分隐私随机梯度下降中剪裁、修剪和损失景观的作用
差分隐私随机梯度下降（DP-SGD）相对于普通随机梯度下降（SGD）在大型神经网络上具有较差的训练和测试性能。通过对两种方法的详细研究和比较，我们揭示了一些新的见解。通过分别分析 DP-SGD 在早期和晚期阶段的行为，我们发现 DP-SGD - 特征预处理对差分隐私线性优化的重要性
用差分隐私训练机器学习模型的方法在近年来受到越来越多的关注。我们通过研究线性分类的简单案例，首次展示出在差分隐私优化中，除了使用差分隐私随机梯度下降算法（DPSGD）外，特征预处理对于优化结果的重要性。我们提出了一种名为 DPSGD-F 的 - 梯度看起来相似：DP-SGD 中的敏感性经常被高估
本文发展了一种新的 DP-SGD 分析方法，该算法能够更好地处理训练数据集中许多数据点的隐私泄露问题，具有更好的隐私保障，特别是对正确分类的数据点而言。
- 从随机过程中学习先验知识的差分隐私图像分类
本研究提出了 DP-RandP 方法，并从随机过程生成的图像中学习先验知识，并将这些先验知识传递给私有数据，从而提高了差分隐私随机梯度下降 DP-SGD 的隐私效用权衡的性能，并在 CIFAR10，CIFAR100 和 MedMNIST 数 - 使用随机游走采样训练差分隐私图神经网络
研究深度学习模型在保护隐私方面的挑战，尤其是在图形结构数据上应用差分隐私随机梯度下降来防止训练数据泄漏。这篇论文提出通过在给定训练图的不相交子图上训练图神经网络来解决这个问题，并且进行了大量实验来验证方法的有效性。
- ICML使用 Langevin 动态实现神经网络差分隐私训练，并获得预测不确定性校准
通过将随机梯度 Langevin 动力学用于差分私有随机梯度下降，我们实现了更可靠的不确定性估计，在医学诊断等安全关键应用中具有重要意义。
- 随机签到的隐私扩大
本文介绍了一种分布式协议，称为随机签到分布式协议，它可用于联合学习等环境中的差分隐私随机梯度下降，在隐私和准确性之间实现了权衡，并且不需要服务器发起通信或了解总体规模。同时，作者还扩展了隐私放大技术，以在使用数量更少的用户数据时提供相似的隐 - AdaCliP: 面向隐私 SGD 的自适应剪辑
本研究提出了 AdaCliP 差分隐私 SGD 算法，通过对梯度进行逐坐标自适应剪辑的方式，可以降低加入的噪音，从而得到更准确的模型。