测地凸优化的一阶方法

Feb, 2016

First-order Methods for Geodesically Convex Optimization

Hongyi Zhang, Suvrit Sra

TL;DR该研究提出了一种称为测地凸性的新概念，将向量空间凸性推广到非线性度量空间，并在 Hadamard 流形上开发了迭代复杂度分析，为一些一阶算法提供了全局复杂度上限。研究结果还揭示了流形几何，尤其是分段曲率如何影响收敛速度。这是第一篇为一般 g - 凸优化的一阶算法提供全局复杂度分析的工作。

Abstract

geodesic convexity generalizes the notion of (vector space) convexity to nonlinear metric spaces. But unlike convex optimization, geodesically convex (g-convex) optimization is much less developed. In this paper we contribute to the understanding of →

geodesic convexity g-convex optimization iteration complexity analysis hadamard manifolds convergence rates

发现论文，激发创造

正定矩阵流形上的圆锥几何优化

本文开发了在厄米正定矩阵流形上的几何优化方法，特别是考虑了优化两种类型的成本函数：地质凸（g-convex）和对数不扩展（LN）函数，展示了相关理论和锥定点优化算法，并将其应用于椭圆轮廓分布的最大似然参数估计，与流形优化方法相比，我们的算法显著加速。

Dec, 2013

Horoballs 和次梯度方法

探索凸优化在 Hadamard 空间上的应用，我们考虑了类似于次梯度算法的迭代方法。与传统方法不同的是，我们的方法适用于一般的 Hadamard 空间，采用了底层空间本身的框架，并且依赖于目标级集的次凸性。对于这个受限制的目标类别，我们证明了一个类似于通常形式的复杂度结果，特别地，复杂度不依赖于空间曲率的下界。

Mar, 2024

关于夸脱 - 凸优化第一阶段算法收敛性的研究

本文研究了一类名为 'quasar-convex function' 的函数，该函数在实践中证明具有类似于凸性的结构性质，并且通过比较其最优解的收敛速率得到了类似于凸函数的复杂度上界，从而表明该函数类能够实现有效的优化过程。

Oct, 2020

在双矩阵集合上进行流形优化：一个二阶几何方法

本文介绍了使用 Riemannian optimization 方法求解一类具有特定盒式约束的凸优化问题，通过引入三个流形来实现求解，这些流形适用于具有多维概率分布函数的变量，且在高维度中具有优越性能。

Feb, 2018

广义平滑下的凸优化和非凸优化

本文介绍了一种新的非均匀光滑条件下的优化方法，并开发出一种简单但有效的分析技术来限制沿轨迹的梯度，从而获得更强的凸优化和非凸优化问题的结果。我们通过这种新方法证明了（随机）梯度下降和 Nesterov 加速梯度法在这种一般的光滑条件下的收敛率，而不需要梯度剪裁，并允许在随机场景中的有界方差的重尾噪声。

Jun, 2023

欧几里得函数优化中的扭曲几何信息

通过在具有截断度量的流形上进行优化，我们得到了函数的最优解，并通过构造适当的回缩映射将途经的递近测地线拉回到流形上，从而有效地沿着近似的测地线进行优化。

Aug, 2023

保证几何惩罚有界的黎曼极小 - 极大优化的加速方法

本文研究的是优化问题，其中函数在乘积 Riemann 流形上是几何上凸的，设计了加速的方法，改进了现有的方法，并在 Riemann 最小 - 最大的情况下证明了全局线性收敛。

May, 2023

超越凸性和 Lipschitz 梯度连续性的一阶方法及其在二次逆问题中的应用

利用可适应性光滑函数的概念和 Bregman 基础的近端梯度方法，在解决具有复杂目标函数的非凸、非光滑最小化问题时，实现全局收敛。

Jun, 2017

一种几何替代 Nesterov 加速梯度下降算法的方法

我们提出了一种新的优化方法，通过类似于椭球体法的简单几何解释，实现了超平滑何强凸函数的无约束优化，并在数值实验中证明了其优于 Nesterov 加速梯度下降。

Jun, 2015

在黎曼流形上的游戏中，无关曲率的最终迭代收敛

该研究通过研究 Riemannian 梯度下降算法，证明了无论流形的曲率如何，只要保持测地强单调性，通过使用曲率不明感的步长，可以实现曲率无关和线性的最后一次迭代收敛率。

Jun, 2023