本文研究了梯度方法在凸优化中的收敛行为,证明了仅满足某些线段上的 Lipschitz 连续性和强凸性条件时,其复杂度可达到已知的最优值。同时,利用切线条件和投影的约束得到了更为松弛的条件,并应用于稀疏优化问题中构造更快的求解算法。
Mar, 2013
本文介绍了一种新的非均匀光滑条件下的优化方法,并开发出一种简单但有效的分析技术来限制沿轨迹的梯度,从而获得更强的凸优化和非凸优化问题的结果。我们通过这种新方法证明了(随机)梯度下降和 Nesterov 加速梯度法在这种一般的光滑条件下的收敛率,而不需要梯度剪裁,并允许在随机场景中的有界方差的重尾噪声。
Jun, 2023
本文在 ACL2 (r) 平台上对 R^n 进行了形式化处理,并着重研究了凸函数的一组公理和证明,包括了一组关于引理的等价条件,并且探讨了证明工程的问题。
Oct, 2018
本文针对强凸但潜在不光滑非 Lipschitz 的优化问题,提出了新的等价的对偶描述,使得 $O (1/T)$ 收敛保证适用于几乎任何步长选择和一系列非 Lipschitz 病态问题,并提供了优化证书。
May, 2023
该论文回顾和阐述了离散和连续设置中的对数凹性和强对数凹性问题,探讨了 Efron 定理和引理,证明了 Otto 和 Menz 提出的不对称 Brascamp-Lieb 不等式的基本单调性结论,同时回顾了对数凹性与其他数学和统计学领域的关系,包括测度集中,对数 Sobolev 不等式,凸几何,MCMC 算法,Laplace 近似和机器学习。
Apr, 2014
利用可适应性光滑函数的概念和 Bregman 基础的近端梯度方法,在解决具有复杂目标函数的非凸、非光滑最小化问题时,实现全局收敛。
Jun, 2017
本文研究了解决光滑的非强凸约束优化问题的一些一阶方法的收敛率,提供了一些松弛的强凸条件并证明了它们对于多种一阶方法的线性收敛是足够的,最后证明了所提出的松弛强凸条件涵盖了求解线性系统、线性规划和线性约束凸问题的重要应用。
Apr, 2015
证明在局部 Lipschitz 连续条件下的 $C^2$ 函数,给定一均值设定和一个阈值,存在一个光滑函数使得由其生成的下降序列不会收敛到虚假鞍点,并且其所有极限点都是函数的临界点。
Nov, 2019
通过带约束的极小化问题,研究以 Legendre 型的凸函数诱导的 Hessian 黎曼度量的梯度流。通过一系列引理得到了 Hessian 黎曼结构与变分不等式具有特定的积分性质的凸集的积分值,给出了 Bregman 类型距离的新动机。接着,引入了一般演变问题,并给出了微分包含的修正。在拟凸条件下,证明了一般存在和全局收敛性,对于凸最小化问题,有一些有趣的细节。讨论了一些这些梯度流的显式例子。鉴定了双轨迹,并考虑了带有正性和等式约束的凸程序的双重收敛的充分条件。建立了一些收敛速率结果。
Nov, 2018
本文提出相对平滑性和相对强凸性的概念,并相应地将标准算法扩展到新的设置中,应用于发展新的一阶方法来解决 D - 优化设计问题并进行计算复杂度分析。
Oct, 2016