这篇论文讲述了推导逆问题、图像处理和 PDE 约束优化中的非可微优化问题所需的必要最优条件和数值算法，涵盖广义导数概念，凸函数和次微分，Fenchel 对偶，单调算子和解算子，Moreau-Yosida 正则化，极值点和（一些）一阶分裂方法，Clarke 次微分和半光滑牛顿方法，并简要总结了从函数分析和变分法中所需的背景。

Aug, 2017

本文介绍了一种新的非均匀光滑条件下的优化方法，并开发出一种简单但有效的分析技术来限制沿轨迹的梯度，从而获得更强的凸优化和非凸优化问题的结果。我们通过这种新方法证明了（随机）梯度下降和 Nesterov 加速梯度法在这种一般的光滑条件下的收敛率，而不需要梯度剪裁，并允许在随机场景中的有界方差的重尾噪声。

Jun, 2023

本文研究了在稀疏约束下最小化一般连续可微函数的问题，并根据不同的最优性标准提出了三个数值算法：迭代硬阈值法、贪心算法和部分稀疏单纯形法来找到满足最优性标准的点，并分析了这些方法的理论收敛性和与导出的最优性条件的关系。

Mar, 2012

研究了一种基于动力学系统模拟的优化方法，该方法使用常量步长和一阶梯度信息，在更大的凸函数类中实现线性收敛性，包括那些在其极小值点处可能具有奇异或未有界的二阶导数，该方法的动力学梯度映射可以设计成以凸共轭的形式整合信息，允许在非平滑或非强凸的凸函数上实现线性收敛。

Sep, 2018

本研究提出了一种使用隐式函数定理（IFT）来区分非凸约束离散时间最优控制（COC）问题中的最优轨迹的新方法，该方法直接评估从应用变量消除到 Lagrange 乘数项的矩阵方程，使得轨迹导数与时间步数呈线性关系，具有易于并行化处理、与模型大小显著提高的可扩展性、直接计算向量雅可比积以及相较于以前的方法具有改进的数值稳定性等优势。

Oct, 2023

本文提出相对平滑性和相对强凸性的概念，并相应地将标准算法扩展到新的设置中，应用于发展新的一阶方法来解决 D - 优化设计问题并进行计算复杂度分析。

Oct, 2016

本文提出了新的计算方法和相关计算保证，利用一阶方法来解决凸优化问题，并且引入了增长常数 G 用作计算复杂度分析。特别地，当函数 f (・) 为非光滑函数时，提供了 Subgradient Descent Method 和平滑方法的新的计算保证。当 f (・) 是光滑函数时，对重新启动加速梯度方法的方案进行了阐述。

Nov, 2015

本研究证明了镜面下降算法和条件梯度法广义化算法的等价性，并说明了在某些问题中，如具有非平滑损失或非平滑正则化器的监督式机器学习问题中，原始次梯度法和对偶条件梯度法是形式上等价的；对偶解释导致了镜面下降的线性搜索形式以及对原始 - 对偶证书的收敛性的保证。

Nov, 2012

利用可适应性光滑函数的概念和 Bregman 基础的近端梯度方法，在解决具有复杂目标函数的非凸、非光滑最小化问题时，实现全局收敛。

Jun, 2017

本文讨论了一种形成非可微或离散目标函数最优解可微分界限的通用技术，提供了这些方法的统一描述，并且考虑了边界凸性的情况。特别地，我们考虑了该方法的两个具体应用：稀疏学习和支持向量分类。

Dec, 2012