本文研究深度学习中涉及到隐私保护的问题，探讨了梯度裁剪在保证隐私的前提下防止 SGD 算法陷入局部极小值的作用，并提出了一种基于扰动的新技术用于解决梯度分布不对称问题。

Jun, 2020

差分隐私随机梯度下降（DP-SGD）相对于普通随机梯度下降（SGD）在大型神经网络上具有较差的训练和测试性能。通过对两种方法的详细研究和比较，我们揭示了一些新的见解。通过分别分析 DP-SGD 在早期和晚期阶段的行为，我们发现 DP-SGD 在早期阶段进展较慢，而晚期阶段的行为决定了最终结果。对 DP-SGD 的剪切和噪声添加步骤进行单独分析，我们发现噪声引入了误差，但是当梯度下降没有被剪切时，可以从这些误差中恢复，而剪切似乎比噪声具有更大的影响。这些效应在高维空间（大型神经网络）中被放大，其中损失区域占据了较低的维度空间。我们基于理论和大量实验的论证认为，幅值修剪可以作为一种合适的降维技术，在这方面可以改善 DPSGD 的测试准确性。

Nov, 2023

本文通过引入一个新的假设 $(L_0, L_1)$-smoothness，系统研究了剪枝算法的一般框架及其在深度学习任务中的应用，提出了一种将动量方法结合剪枝算法的通用框架，并在确定性和随机性设置下对其进行了收敛性分析，结果表明剪枝算法的效率即使在非平滑的领域中也不会退化。

Oct, 2020

本文提出了一种修剪随机梯度（子）梯度法（SGD）的收敛性研究，特别是对于具有快速增长次梯度的非光滑凸函数。研究表明，修剪对 SGD 的稳定性有益，并且修剪 SGD 算法在许多情况下具有有限的收敛速率。同时，我们还研究了带有动量的修剪方法的收敛性，并展示了新的 Lyapunov 分析证明了该方法在这类问题中具有最佳的收敛速率。数值结果验证了理论结果。

Feb, 2021

本文研究了梯度裁剪在随机梯度下降中的应用，给出了裁剪阈值对收敛结果的影响和其上下界，进一步阐述了裁剪机制的缺陷及解决方案。

May, 2023

使用梯度裁剪技术在随机优化算法中研究梯度的截尾行为和其理论保证。

Jul, 2023

基于中位数估计的坚实梯度方法在随机梯度下降算法中能够应对重尾、状态相关性噪声，在分布式学习、隐私约束等领域有广泛应用。本研究在采样、几何中位数计算及迭代中都提出了基于中位数梯度估计的方法，并发现多种已知算法可看作此方法的特例。

Feb, 2024

通过实例推导得到一个新的平滑度条件 - 梯度平滑度随着梯度范数增大而增大，进一步推出了一种新的梯度平滑弱化条件，这使得旧行业标准的梯度下降优化算法可以进行改进。我们证明，这种新条件下的梯度削减和标准化梯度方法的收敛速度可任意加快，并在流行的神经网络训练环境下进行了实证验证。

May, 2019

通过利用当前全局模型及其在搜索域中的位置的公共信息，我们提出了一种新方法来缓解传统梯度剪裁带来的偏差，从而实现了改进的梯度界限，进一步确定了灵敏度并调整了噪声水平，提供更好的差异性隐私保证，并进行了实证评估。

Oct, 2023

本研究提出了 AdaCliP 差分隐私 SGD 算法，通过对梯度进行逐坐标自适应剪辑的方式，可以降低加入的噪音，从而得到更准确的模型。

Aug, 2019