本文提出了一种用保守梯度模型来估计算法分化的计算成本的方法，并且较为详细地描述了其在反向传播和前向传播中的应用。主要方法是基于局部 Lipschitz 半代数或可定义基本函数的方法，可以极大地加速了反向传播过程。

Jun, 2022

该论文提出了一个基于梯度下降的优化算法框架，发展了一种计算多元实值函数梯度的量子算法，并提高了计算梯度的复杂性以适应光滑函数的重要类别，而且可以为量子最优化算法提供更快的计算梯度方法。

Nov, 2017

这篇文章研究了在有界局部次梯度变化情况下的非光滑优化问题，定义了目标函数的类别，包括传统优化问题中基于目标函数的 Lipschitz 连续性或梯度的 Holder/Lipschitz 连续性的函数，并且包含了既不是 Lipschitz 连续也没有 Holder 连续梯度的函数类别。研究结果表明在传统的优化问题类别中，所定义的类别参数能够得到更为精细的复杂度界限，并恢复了最坏情况下的传统 oracle 复杂度界限，同时对于不是最坏情况的函数通常能够得到更低的 oracle 复杂度。此外，该文章还强调了在并行计算环境中非光滑优化的复杂度与次梯度集合的平均宽度有关。

Mar, 2024

本文针对强凸但潜在不光滑非 Lipschitz 的优化问题，提出了新的等价的对偶描述，使得 $O (1/T)$ 收敛保证适用于几乎任何步长选择和一系列非 Lipschitz 病态问题，并提供了优化证书。

May, 2023

研究表明，在许多鲁棒性估计问题中，即使基础优化问题是非凸的，这些问题也能够有效地解决。研究这些鲁棒性估计问题的损失景观，并确定了存在 “广义拟梯度” 的情况。对于分布的鲁棒均值估计，我们证明了一阶稳定点是近似全局最小值，如果损坏水平小于 $1/3$；对于其他任务，包括线性回归和联合均值和协方差估计，我们显示了广义拟梯度的存在，并构建了有效的算法。

May, 2020

本文研究了梯度下降算法在光滑内核中的应用限制，提出了基于特征向量预处理的 EigenPro 迭代优化算法，通过注入小规模二阶信息以改善此限制，从而实现更好的收敛性能。

Mar, 2017

本文采用半自动微分的方法进行量子优化控制，将优化函数按时间传播和功能计算分解计算其梯度，并应用于开放量子系统中量子信息和量子计量的非解析函数优化控制。

May, 2022

本研究提出了量子自然梯度下降的量子概率论泛化作为用于变分量子电路的通用优化框架的一部分。优化动力学被解释为相对于量子信息几何学的最陡下降方向移动，相应于量子几何张量 (即 Fubini-Study 度量张量的实部)。该研究还提供了一种有效的算法，用于计算参数化量子电路的 Fubini-Study 度量张量的块对角近似，这也是该研究的一个独立的兴趣点。

Sep, 2019

本文介绍了一种使用受限神经网络架构来实现计算涉及到维度导数的微分算子的方法，改进了反向传播计算图，使其可以实现有效提取维度导数。该方法在一些应用场景中具有较低的复杂度，包括计算流体力学中的发散度、连续正规化流的精确密度计算以及训练随机微分方程模型中的 Fokker–Planck 方程求解。

Dec, 2019

文章提出了一种基于离散半微分的无约束和有约束子模函数优化的实用强大新框架，旨在为子模最小化和最大化问题提供统一的范例，并为解决这些问题提供了新的算法，该算法能够多次计算和高效率优化子模半梯度。作者还分析了该算法的理论性质，并进行了支撑的经验实验，证明其在最大化问题上的优秀表现。

Aug, 2013