本文提出了一种基于采样和聚合框架的方法和基于梯度平滑和剪枝的方案，可有效应对重尾型数据下的不规则性挑战，实现了强凸和一般凸损失函数的差分隐私，且在高概率下应达到预期的超额群体风险水平。

Oct, 2020

我们研究了具有重尾梯度的差分隐私随机凸优化（DP-SCO）问题，在这里我们假设样本函数的 Lipschitz 常数具有 k 次矩界而不是统一界。我们提出了一种新的基于约束的方法，使我们能够在重尾设置中获得首个最优速率（达到对数因子），在（ε，δ）- 近似差分隐私下，实现误差 G2⋅1/√n+Gk⋅(√d/nε)^(1-1/k)，几乎匹配于 [Lowy and Razaviyayn 2023] 的下界。在额外假设下，我们进一步给出了一套重尾设置的私有算法，包括在已知 Lipschitz 常数假设下的最优算法，平滑函数的近线性时间算法以及平滑广义线性模型的最优线性时间算法。

Jun, 2024

本文中，我们首次对 DP-SCO 问题的高维重尾数据进行了研究，提出了在约束为多面体的情况下的误差频率及其限制，进一步在 LASSO 和稀疏学习问题中讨论了误差限制。

Jul, 2021

本文提出两种新的不同 ially private 的方法，实现了凸优化的最优解，使用较少的梯度计算，同时需要对数据有轻度平滑性的假设。

May, 2020

提出了一种新的框架，以将鲁棒性的凸松弛算法修改为满足适当参数规范的强最坏情况稳定性保证。通过这一框架，提出了一个可以在存在恶意数据干扰下实现微分隐私的高阶矩的鲁棒估计的算法，包括均值和协方差的估计。该算法成功地应用于成族分布，并在适当参数范数下提供恢复和维度参数的从容保证。

Dec, 2021

本研究针对随机凸优化问题的不同隐私算法进行了研究，通过分析算法的稳定性以确保泛化，得出了当参数的情况在实践中最为普遍时，隐私 SCO 的渐近收敛率与非隐私的 SCO 相同，即都为 1/√n.

Aug, 2019

在大型嵌入模型应用的推动下，我们研究了带有个体梯度稀疏性的差分隐私（DP）优化问题，我们得到了经典均值估计问题的新近最优界限，但这是在稀疏数据情况下，改进了先前的算法，特别是在高维情况下。在此基础上，我们提出了几乎最优的 DP 算法和近似 DP 算法，用于具有稀疏梯度的随机凸优化问题；前者首次提供了几乎与维度无关的速率。最后，我们研究了近似 DP 优化中经验损失的稳定点近似，并得到了依赖于稀疏性而非维度的速率，除了对数因子。

Apr, 2024

本文系统研究了在不同的 normed space 下，拥有标准平滑性假设的 Differentially private stochastic convex optimization 问题，提出了新的算法并证明了其优于之前已知的算法

Mar, 2021

本文研究隐私保护随机优化问题在凸性和非凸性情况下的解决方案，并给出了针对不同损失函数的最优算法，其中包括 non-smooth generalized linear losses（GLLs）和多种约束条件以及多种平滑系数的情况。

Jul, 2021

该论文研究了一种简单估计技术在重尾分布下提供指数集中性的应用和推广，证明该技术可用于平滑强凸损失函数的近似最小化，特别是在最小二乘线性回归、稀疏线性回归和低秩协方差矩阵估计中具有类似的特征。

Jul, 2013