Aug, 2013

Manopt，基于 Matlab 的流形优化工具箱

PDF
TL;DR论文主要介绍了流形上的优化方法在处理机器学习应用中出现的结构性约束时的优越表现，介绍了基于 Riemannian 优化算法的 Manopt 工具箱，并旨在让优化领域之外的从业者更容易地尝试最新的算法。
optimization on manifoldsrank and orthogonality constraintsmachine learning applicationsnumerical algorithmsriemannian optimization algorithms
发现论文，激发创造
  • Pymanopt：使用自动微分的流形优化 Python 工具箱

    本研究介绍了 Pymanopt，一个用于在流形上进行优化的工具箱，它实现了几何流形和优化算法，并使用自动微分计算导数信息，以节省用户的时间和避免潜在的计算和实现错误。

    Mar, 2016

  • 流形优化简介

    本文研究了流形优化问题，探讨了利用流形几何将约束优化问题转化为无约束问题、内在结构、最优性条件及数值算法，并展示了近期在流形优化理论方面的进展。

    Jun, 2019

  • 约束下的黎曼流形优化简单算法

    本文介绍了扩展现有算法，从欧几里得情况到黎曼情况的从等式和不等式约束中考虑代码优化问题，在高维下实现计算效率与准确度的提高，具有重要的实践应用。

    Jan, 2019

  • 在双矩阵集合上进行流形优化：一个二阶几何方法

    本文介绍了使用 Riemannian optimization 方法求解一类具有特定盒式约束的凸优化问题，通过引入三个流形来实现求解，这些流形适用于具有多维概率分布函数的变量，且在高维度中具有优越性能。

    Feb, 2018

  • 矩阵流形上的 Riemannian 坐标下降算法

    提出了在矩阵流形上开发计算效率高的坐标下降（CD）算法的一般框架，从而允许在每次迭代中仅更新少数变量，并符合流形约束。通过一阶目标函数的近似实现了更高效的变体，分析了它们的收敛性和复杂性，并在多个应用中验证了它们的有效性。

    Jun, 2024

  • Geoopt: PyTorch 中的黎曼优化

    Geoopt 是一个用于基于黎曼流形优化的，面向研究的模块化开源软件包，支持基本的黎曼随机梯度下降以及自适应优化算法，并提供多种算法和计算方法，可实现在现有模型中集成的几何感知神经网络层。

    May, 2020

  • 黎曼流形上的优化技术

    本篇文章提出了新的方法，以解决施加在黎曼流形上的最优化问题，并将欧几里得空间上的一些优化技术推广到黎曼流形上。文章展示了几个算法，并分析了它们的收敛性质，其中包括可以被认为是黎曼流形上的牛顿方法和共轭梯度方法的两种算法，分别表现出二次和超线性收敛性。此外，还给出了一些在某些黎曼流形上的实例以及数字实验的结果。

    Jul, 2014

  • 用于矩阵完成的 Grassman 流形梯度下降算法

    本文描述了一种名为 OptSpace 的有效算法，基于奇异值分解和局部流形优化，用于解决从其子集中重构低秩矩阵的问题。该算法可以从很小的子集重构低秩矩阵并且对噪声具有鲁棒性，并在实际协同过滤数据集上表现良好。

    Oct, 2009

  • 固定秩矩阵分解与黎曼低秩优化

    采用 Riemannian 余维度流形上的优化几何方法及其梯度下降和信任区域算法，对学习大型固定秩非对称矩阵的线性回归模型进行了研究，推广了固定秩对称正定矩阵的一般结果，可用于机器学习算法的设计，数值实验表明，与现有算法竞争并提供了一种有效且灵活的算法，用于学习固定秩矩阵。

    Sep, 2012

  • 黎曼流形上的双层优化框架

    提出了一个在黎曼流形上求解双层优化问题的框架，研究了超梯度估计策略，分析了算法的收敛性和复杂度，扩展了到随机双层优化和一般回退的应用。

    Feb, 2024