本研究提出DP-LSSGD，一种基于差分隐私的SGD算法，通过Laplacian smoothing减少噪音并保证同样的隐私保证，让训练凸和非凸机器学习模型更加稳定，同时使得模型泛化更好。

Jun, 2019

本文探讨梯度扰动在差分私有性上优劣的影响。我们发现在不同凸优化问题中，期望曲率可更好地决定噪声扰动的实际效果，而不是最小曲率。进一步实验表明使用高级组合方法的梯度扰动比其他扰动方法表现更好。

Nov, 2019

本文提出了一种基于采样和聚合框架的方法和基于梯度平滑和剪枝的方案，可有效应对重尾型数据下的不规则性挑战，实现了强凸和一般凸损失函数的差分隐私，且在高概率下应达到预期的超额群体风险水平。

Oct, 2020

本文系统研究了在不同的normed space下，拥有标准平滑性假设的Differentially private stochastic convex optimization问题，提出了新的算法并证明了其优于之前已知的算法

Mar, 2021

本文研究带有重尾数据的随机凸优化问题，并在差分隐私（DP）约束条件下进行研究。该文提出了一种新的算法用于估计重尾数据的均值，并针对凸损失函数提供了改进的上界。同时，证明了私密随机凸优化的几乎匹配下界，这表明了纯DP和集中DP之间的新分离。

Jun, 2021

本文研究了 DP-SGD 算法在限制梯度影响的条件下，对于具有省略凸性和平滑性假设的损失函数，随着迭代次数的增加，其隐私泄露的收敛速度是指数级的。同时，文章还分析了非正则 DP-SGD 的隐私损失。

May, 2023

我们研究了具有重尾梯度的差分隐私随机凸优化（DP-SCO）问题，在这里我们假设样本函数的Lipschitz常数具有k次矩界而不是统一界。我们提出了一种新的基于约束的方法，使我们能够在重尾设置中获得首个最优速率（达到对数因子），在（ε，δ）-近似差分隐私下，实现误差G2⋅1/√n+Gk⋅(√d/nε)^(1-1/k)，几乎匹配于[Lowy and Razaviyayn 2023]的下界。在额外假设下，我们进一步给出了一套重尾设置的私有算法，包括在已知Lipschitz常数假设下的最优算法，平滑函数的近线性时间算法以及平滑广义线性模型的最优线性时间算法。

Jun, 2024

对于最常用的DP-SGD变体，即通过循环替换方式采样批次、进行梯度裁剪并仅发布最后一个DP-SGD迭代，我们在不假设凸性、平滑性或Lipschitz连续性的损失函数的情况下，建立了新的Rényi差分隐私（RDP）界限，假设DP-SGD的步长相对于损失函数中的拓扑常数较小，且损失函数是弱凸的。此外，当目标函数的弱凸参数趋近于零时，我们的界限趋于以前建立的凸界限。对于非Lipschitz平滑的损失函数，我们提供了一种随着DP-SGD迭代次数的扩展良好的界限。

Jul, 2024

本研究针对在差分隐私框架下的凸优化问题，解决了已有研究在重尾梯度条件下达到的次优速率问题。我们提出了一种简单的剪裁方法和一种迭代更新方法，显著改进了梯度估计器的尾部特性，从而实现了最优的DP优化速率，匹配了现有的最小最大下界，表明在差分隐私下的随机凸优化的理论极限是可达的。

Aug, 2024

本文研究了带噪声SGD算法在非凸非平滑损失下的差分隐私保证，填补了该领域的研究空白。通过充分利用Hölder连续梯度的条件，作者证明了收敛的R'enyi差分隐私界限，并提供了相较于已有成果更优的隐私界限。这项研究进一步展示了隐状态分析在差分隐私中的优势及其应用潜力。

Oct, 2024