Feb, 2018

在双矩阵集合上进行流形优化：一个二阶几何方法

PDF
TL;DR本文介绍了使用 Riemannian optimization 方法求解一类具有特定盒式约束的凸优化问题，通过引入三个流形来实现求解，这些流形适用于具有多维概率分布函数的变量，且在高维度中具有优越性能。
convex optimizationriemannian optimizationmanifoldprobability distribution functionhigh dimensions
发现论文，激发创造
  • 流形优化简介

    本文研究了流形优化问题，探讨了利用流形几何将约束优化问题转化为无约束问题、内在结构、最优性条件及数值算法，并展示了近期在流形优化理论方面的进展。

    Jun, 2019

  • 矩阵流形上的 Riemannian 坐标下降算法

    提出了在矩阵流形上开发计算效率高的坐标下降（CD）算法的一般框架，从而允许在每次迭代中仅更新少数变量，并符合流形约束。通过一阶目标函数的近似实现了更高效的变体，分析了它们的收敛性和复杂性，并在多个应用中验证了它们的有效性。

    Jun, 2024

  • 黎曼随机优化方法避免严格鞍点

    对于现代机器学习应用中的最小化问题，研究了基于提纯的方法族，证明了在渐进条件下，从任意初始状态出发，研究中的策略几乎总能避免严格鞍点 / 子流形，从而为在流形上使用梯度方法提供了重要的可靠性验证。

    Nov, 2023

  • 黎曼流形上的优化技术

    本篇文章提出了新的方法，以解决施加在黎曼流形上的最优化问题，并将欧几里得空间上的一些优化技术推广到黎曼流形上。文章展示了几个算法，并分析了它们的收敛性质，其中包括可以被认为是黎曼流形上的牛顿方法和共轭梯度方法的两种算法，分别表现出二次和超线性收敛性。此外，还给出了一些在某些黎曼流形上的实例以及数字实验的结果。

    Jul, 2014

  • 约束下的黎曼流形优化简单算法

    本文介绍了扩展现有算法，从欧几里得情况到黎曼情况的从等式和不等式约束中考虑代码优化问题，在高维下实现计算效率与准确度的提高，具有重要的实践应用。

    Jan, 2019

  • 矩阵流形上的黎曼适应性随机梯度算法

    该研究提出了一种针对 Riemannian 矩阵流形的新型随机梯度算法，通过适应梯度的行和列子空间，使算法能够在保留流形丰富结构的同时进行优化，并证明了算法的收敛性和收敛速率。

    Feb, 2019

  • 测地凸优化的一阶方法

    该研究提出了一种称为测地凸性的新概念，将向量空间凸性推广到非线性度量空间，并在 Hadamard 流形上开发了迭代复杂度分析，为一些一阶算法提供了全局复杂度上限。研究结果还揭示了流形几何，尤其是分段曲率如何影响收敛速度。这是第一篇为一般 g - 凸优化的一阶算法提供全局复杂度分析的工作。

    Feb, 2016

  • 黎曼自适应优化方法

    将 Adam、Adagrad 和 Amsgrad 等流行的自适应随机优化方法扩展到里曼流形上面的困难以及基于里曼流形的优化算法和渐进结果的提出，同时在实验中证明该算法比原算法更快且表现更好。

    Oct, 2018

  • 正定矩阵流形上的圆锥几何优化

    本文开发了在厄米正定矩阵流形上的几何优化方法，特别是考虑了优化两种类型的成本函数：地质凸（g-convex）和对数不扩展（LN）函数，展示了相关理论和锥定点优化算法，并将其应用于椭圆轮廓分布的最大似然参数估计，与流形优化方法相比，我们的算法显著加速。

    Dec, 2013

  • Manopt，基于 Matlab 的流形优化工具箱

    论文主要介绍了流形上的优化方法在处理机器学习应用中出现的结构性约束时的优越表现，介绍了基于 Riemannian 优化算法的 Manopt 工具箱，并旨在让优化领域之外的从业者更容易地尝试最新的算法。

    Aug, 2013