复合自共轭最小化
我们引入自协调平滑的概念,用于最小化两个凸函数的和:第一个是光滑的函数,第二个可以是不光滑的函数。我们的方法自然地从称为部分平滑的平滑近似技术中得出。我们的方法的重点在于所得问题结构的自然特性,它为我们提供了一个变量度量选择方法和一条特别适合于近端牛顿类型算法的步长选择规则。另外,我们有效地处理不光滑函数推动的特定结构,例如 L1 正则化和组套索惩罚。我们证明了两种算法的局部二次收敛速度:Prox-N-SCORE,即近端牛顿算法和 Prox-GGN-SCORE,即近端广义高斯牛顿(GGN)算法。Prox-GGN-SCORE 算法突出了一种较为重要的近似过程,有助于显著降低与逆 Hessian 相关的大部分计算开销。此近似过程对于超参数机器学习模型和小批量设置非常有用。对合成数据集和真实数据集的数值实验证明了我们方法的效率和优越性。
Sep, 2023
该论文研究了由凸或 Prox-regular 函数组成的函数与光滑向量函数的复合函数最小化问题,提出了一种基于线性逼近和正则化项的子问题算法框架,并探讨了该子问题的局部解的性质、全局收敛性和含有原问题解的活动流形的识别性质。初步的计算结果具有良好的性能。
Dec, 2008
通过使用可计算的接近算子和自共轭障碍的凸约束集,提出了一种新的关于近端和自共轭障碍概念的混合处理方法,并提出了一种非精确路径跟踪算法框架,可以有效地解决非光滑凸最小化问题,同时可以以无调谐自由的方式获得自共轭目标正则化问题的 Pareto 前沿点。
Nov, 2013
我们研究了凸函数的平滑结构,通过将 Nesterov 和 Nemirovsky 在 1990 年代早期引入的强大概念(称为自共轭性)推广到更广泛的凸函数类,我们称之为广义自共轭函数。 这个概念使我们能够开发出设计 Newton 类型方法来解决凸优化问题的统一框架。
Mar, 2017
我们提出了一种新的近端 - 梯度方法,用于最小化可微、可能非凸的函数加上凸、可能非可微的函数,并探讨了度量可能在每次迭代中改变,近似计算近端点并给出充分条件的可能性。我们还展示了这个方法在图像恢复问题中的竞争力。
Jun, 2015
我们提出了一个基于条件梯度法的复合凸优化模板,该方法结合了平滑和同伦技术,在 CGM 框架下实现了最优的 O(1 /sqrt(k))收敛速度,并证明了在线性子问题具有加法或乘法误差时,同样的速率保持不变。此外,与相关工作相比,我们能够描述非平滑项为指示函数时的收敛性质。
Apr, 2018
研究了带有准自共轭平滑成分的复合凸优化问题,通过使用基本的牛顿法结合梯度正则化,提出了一种简单而高效的算法,并应用于多个实际问题,包括逻辑回归、软最大和矩阵缩放,无需对目标函数进行额外的假设,并且获得了快速全局线性收敛率。
Aug, 2023
本文介绍了一种新的一阶原始 - 对偶优化框架,利用平滑、加速和同伦等三个经典思想,实现了具有许多广泛应用的凸优化,达到了最佳的收敛效果,针对只包含非平滑函数的情况。同时提供了重新启动策略,大大提高了实际性能,并展示了与增广拉格朗日方法的关系以及如何利用严格收敛率保证来利用强凸目标。最后提供了两个实例验证,表明新的方法可以优于 Chambolle-Pock 和交替方向乘法算法等现有的算法。
Jul, 2015
提出了一种基于新的近端牛顿算法的凸优化方法,应用于图学习问题中的稀疏逆协方差矩阵估计,避免了矩阵求逆,适合并行实现。
Jan, 2013