本文中我们考虑在闭凸子集上最小化一个非光滑非凸的目标函数 $f (x)$，同时满足附加的非光滑非凸约束 $c (x) = 0$。我们开发了一个统一的框架来发展基于 Lagrangian 的方法，在每次迭代中通过某些子梯度方法对原始变量进行单步更新。这些子梯度方法被 “嵌入” 到我们的框架中，以黑盒更新原始变量的方式加以合并。我们证明了在温和条件下，我们提出的框架继承了这些嵌入子梯度方法的全局收敛性保证。此外，我们证明了我们的框架可以扩展到解决具有期望约束的约束优化问题。基于我们提出的框架，我们展示了一系列现有的随机子梯度方法，包括 proximal SGD、proximal momentum SGD 和 proximal ADAM，可以嵌入到基于 Lagrangian 的方法中。对深度学习任务的初步数值实验表明，我们提出的框架可以为非凸非光滑约束优化问题提供高效的 Lagrangian-based 方法变体，并具有收敛性保证。

Apr, 2024

本文考虑正则化回归问题，其中先验正则化器是一个凸函数并对于黎曼子流形是部分光滑的，我们研究了任何正则化最小化器对观察值微小扰动的敏感性，并提供了其精确的本地参数化。我们的主要敏感性分析结果表明，在观测变化微小地情况下，预测变化在同一活动子流形上局部稳定。

Apr, 2014

本文考虑了随机泛型不等式问题及其解决方案，利用局部随机平滑方案求解，并证明了该解决方案在平均意义下和几乎肯定意义下都能收敛到问题的解，同时也实现了 $1/k$ 的收敛速度。

Mar, 2014

本文提出了一种称为平滑近端梯度方法的通用优化方法，它能够解决带有平滑凸损失和广泛结构稀疏诱导罚款的结构稀疏回归问题，通过 Nesterov 的一般平滑技术实现了比标准一阶法更快的收敛速度，比大多数广泛使用的内点法更可扩展。

Feb, 2012

本文提出一种有效的算法来解决图像恢复应用中的约束问题，包括去卷积和从压缩观测中重建图像，使用总变差或小波（或更一般的框架）正则化。该算法属于增广 Lagrange 方法的范畴，并表现出在一定条件下具有收敛性。本文的结果表明，所提出的算法在图像恢复领域中具有最先进的技术水平。

Dec, 2009

本文针对多元凸回归函数的非参数最小二乘估计器提出一种基于增广 Lagrange 方法的可扩展算法框架，并且给出了平滑凸的 LSE 拟合（分段仿射）的凸逼近方法及近似质量的形式保证，此外，提出了一种 Lipschitz 凸回归的正则化方案，并研究了所得 LSE 的收敛速度．数值研究表明了本文所提算法的可扩展性。

Sep, 2015

本文介绍了 “逐一” 坐标下降算法及其在 $ L_1 $- 惩罚回归（套索）、garotte 和弹性网络等相关方法中的应用，证明了该算法可以与广泛应用的 LARS（或同伦）过程竞争，在大规模 lasso 问题中引起了不少关注。但注意到它并不适用于 “融合 Lasso”，所以论文提出了一个广义算法，在比标准的凸优化器运行时间更短的时间内得出了解决方案。最后，将该过程推广到二维融合 Lasso，并展示了其在一些图像平滑问题上的性能。

Aug, 2007

本文介绍了一种前向 - 后向投影算法，用来最小化由两个凸函数的和组成的式子，其中一个具有 Lipschitz 连续梯度，另一个相对于主动流形部分平滑，同时给出算法迭代过程中的两个结果。结果表明该算法在包括 Lasso、group Lasso、fused Lasso 和核范数正则化等多个问题中都具有较广泛的应用价值。

Jul, 2014

研究了在存在 Lipschitz 连续生成模型的情况下，从嘈杂的非线性测量中估计未知的 n 维信号问题。研究表明，非一致恢复保证在 i.i.d. 下成立，并且这种方案可以抵抗对抗性噪声，同时经过推广，可以适用于神经网络生成模型和其他测量模型。

Jun, 2020

本文提出了一种通用的优化方法 —— 平滑近端梯度法 (SPG)，可以在结构化的稀疏惩罚下解决任何光滑凸损失的结构化稀疏回归问题。此方法在性能和可伸缩性方面都具有很大优势，并在模拟实验和真实的遗传数据集上进行了验证。

May, 2010