- 超越平均数：差分隐私原型的私有转移学习
通过利用已公开训练的编码器从私有数据中提取特征并生成代表嵌入空间中每个私有类的差异化隐私原型，DPPL 提供了高效预测和强隐私保证，即使在纯差分隐私概念下，也能在高隐私和低数据环境以及私有训练数据不平衡时表现出优秀性能。
- 扩散模型的高效差分隐私微调
使用低维适应和差分隐私的参数高效微调扩散模型可生成有用的合成样本，并保证了微调数据的隐私保护。
- 单个时期和大批量下的 DP-SCO 的最优速率
我们提出了一种新的差分隐私算法，叫做加速差分隐私随机递归梯度下降（Accelerated-DP-SRGD），它能够在只对当前步骤的新信息进行隐私代价计算的情况下实现最优 DP - 随机凸优化（DP-SCO）错误，通过仅使用数据集上的单个时期 - 扩散模型的差分隐私微调
在此篇文章中，我们提出了一种为私有扩散模型优化参数效率的微调策略，通过减少可训练参数的数量来增强隐私 - 效用平衡，从而在 DP 合成方面取得了最先进的性能，在广泛研究的数据集上明显超过了先前的基准（如 CelebA-64 数据集上的小隐私 - 近似最紧密的黑盒审计差分隐私机器学习
该研究通过黑盒模型对 Differentially Private Stochastic Gradient Descent (DP-SGD) 算法进行了近乎严格的审计，通过成员推理攻击经验性地估计了 DP-SGD 的隐私泄漏，并且估计结果接 - LazyDP: 协同设计算法 - 软件以实现可扩展训练差分私有推荐模型
本研究通过对 DP-SGD 进行详细的特性分析，提出了 LazyDP 算法与软件协同设计，解决了使用 DP-SGD 训练推荐系统时的计算和内存挑战，从而大幅提高训练吞吐量同时确保数学上等效的差分隐私推荐系统模型。
- 大型语言模型的差分隐私下一个令牌预测
通过对公共 LLM 输出分布周围的集合投影，并对投影分布进行平均和抽样，PMixED 提供了基于模型预测的差分隐私保护方法，比样本级隐私更可靠，并在大规模数据集上胜过 DP-SGD。
- 通过有界支撑的高斯机制进行隐私放大
通过对有界支持边界的高斯机制的简单修改，我们可以在依赖数据的隐私会计中增强隐私保障，同时不对模型效用产生负面影响。
- DP-SGD 对记录级推断的闭式界限
通过对 DP-SGD 算法进行具体分析，本文提出了一种新的方法，用于评估机器学习模型对特定记录类型的威胁（例如成员和属性推断）的隐私，而无需经过 DP 的间接方式。同时，还提供了一种与数据相关的边界用于对抗属性推论。
- 通过高斯混合机制在 DP-SGD 中对组级别的 DP 保证严格控制
给出了一种计算 DP-SGD 的组级（ε，δ）-DP 保证的过程，当使用泊松采样或固定批量大小采样时。在实现中的离散化误差范围内，通过该过程计算得出的 DP 保证是紧密的（假设我们发布每个中间迭代）。
- PCDP-SGD: 通过预先投影提高差分隐私 SGD 的收敛性
在本文中，我们提出了一个通用的框架 PCDP-SGD，通过在梯度剪裁之前进行投影操作，旨在压缩冗余的梯度范数并保留更关键的顶部梯度分量。此外，我们将 PCDP-SGD 扩展为差分隐私联邦学习（DPFL）的基本组成部分，用于减轻数据异构挑战并 - Auto DP-SGD：通过自动裁剪阈值和噪声乘数估计实现隐私和准确性的双重改进
自动差分隐私随机梯度下降 (Auto DP-SGD) 方法通过基于深度学习模型的梯度范数自动裁剪阈值估计和缩放每个训练样本的梯度来改善算法的实用性，并引入自动噪声乘数衰减机制以提高准确性。在各种基准数据集上，Auto DP-SGD 在隐私和 - DP-NMT：可扩展的差分隐私机器翻译
DP-NMT 是一个开源框架，旨在提供一个平台给研究人员以 DP-SGD 算法为基础开发隐私保护的神经机器翻译系统，通过整合多种模型、数据集和评估指标，解决了目前存在的 DP-SGD 实现细节不清晰、代码不透明和可复现性不足的问题。
- 深度学习模型权重中是否存在差分隐私推断？朝着更安全的深度学习
通过在深度学习模型的权重中检测，我们提出了一种使用微分隐私来推测深度学习模型是否使用了微分隐私训练的方法。通过实验证明，我们的方法为在深度学习模型中严格的隐私要求提供了额外的安全层。
- 大规模嵌入模型的稀疏保持差分私有训练
使用 DP-SGD 算法对大型嵌入模型进行隐私训练时，为了维持梯度稀疏性，我们提出了两个新算法 DP-FEST 和 DP-AdaFEST，能够在保持相当准确性的同时，实现梯度大小的大幅度降低（$10^6 imes$）。
- 推理与干扰：在差分隐私随机梯度下降中剪裁、修剪和损失景观的作用
差分隐私随机梯度下降（DP-SGD）相对于普通随机梯度下降（SGD）在大型神经网络上具有较差的训练和测试性能。通过对两种方法的详细研究和比较，我们揭示了一些新的见解。通过分别分析 DP-SGD 在早期和晚期阶段的行为，我们发现 DP-SGD - 差分隐私是否在实践中防止了后门攻击？
通过实证研究，我们调查了 DP-SGD 和 PATE 在防止后门攻击方面的有效性，并首次检验了 PATE 在文献中的作用。我们的实验揭示了超参数和训练数据集中后门数量对 DP 算法成功的影响。此外，我们提出了 Label-DP 作为 DP- - 多层神经网络的差分隐私非凸学习
该论文主要研究了具有单个输出节点的（多层）全连接神经网络的差分隐私随机优化问题。通过提出多个算法并进行分析，揭示了在不同数据维度下实现的超出总体风险的可行性。其次，研究了具有 ReLU 激活函数的两层神经网络以及 DP-SGD 在全连接多层 - 相关噪声在差分隐私学习中明显优于独立噪声
在研究中，我们表征了任意关联函数的渐进学习效用，并给出了线性回归的精确分析边界以及对于一般凸函数问题的凸优化问题的解。我们通过这些界限展示了关联噪声相对于基本 DP-SGD 在问题参数（如有效维度和条件数）上的可证明改进。此外，我们的近乎最 - 偏见感知最小化：理解和降低私有 SGD 中的估计器偏差
通过此研究，我们展示了样本梯度范数与 DP-SGD 中使用的梯度估计偏差之间的关系，并提出了 Bias-Aware Minimization（BAM）方法，用以降低私有梯度估计器的偏差，我们还提供了对 CIFAR-10、CIFAR-100