May, 2024

随机广义 Stiefel 流形上的无回退优化

PDF
TL;DR我们提出了一种便宜的随机迭代方法，解决了通过对可行解的随机估计来优化在广义斯蒂弗尔流形上的问题。该方法具有较低的每次迭代成本，只需要进行矩阵乘法，并且具有与完整矩阵 B 相关的 Riemannian 方法相同的收敛速度。实验证明了其在包括 CCA、ICA 和 GEVP 在内的各种涉及广义正交性约束的机器学习应用中的有效性。
generalized stiefel manifolditerative methodscheap stochastic iterative methodconvergence ratesmachine learning applications
发现论文，激发创造
  • 在 Stiefel 流形上进行优化的约束保持更新方案框架

    该研究提出了在 Stiefel 流形上优化问题的约束保持更新框架，并使用低复杂度的成本发现了一种新的更新方案。通过自适应非单调线性搜索确定该方法的全局收敛性， 数值测试表明这种框架适用于最近的低秩相关矩阵问题，Kohn-Sham 总能量最小化及统计学中的特殊问题。

    Jan, 2013

  • 应用于排列同步的 Stiefel 流形上的稀疏二次优化

    本研究针对在 Stiefel 流形上最大化（或最小化）二次目标函数的的优化问题，提出了一种基于正交迭代算法的稀疏矩阵优化方法，并将其应用于排列同步问题，取得了比之前更好的结果。

    Sep, 2021

  • 基于在线黎曼 PCA 的随机规范相关分析

    我们提出了一种有效的随机算法（RSG+），使用投影矩阵的重新参数化来进行规范相关分析（CCA），并展示了这种重新参数化如何直接提出机会来重新设计和调整用于 Riemann 流形上数值优化的成熟技术。

    Jun, 2021

  • 通过 Cayley 变换在 Stiefel 流形上实现高效的黎曼最优化

    本研究通过对参数进行正交约束优化，提出了两种算法 - Cayley SGD 和 Cayley ADAM，达到节省运行时间的效果并实现了 CNN 的更快收敛率与更少训练时间。

    Feb, 2020

  • 黎曼随机优化方法避免严格鞍点

    对于现代机器学习应用中的最小化问题，研究了基于提纯的方法族，证明了在渐进条件下，从任意初始状态出发，研究中的策略几乎总能避免严格鞍点 / 子流形，从而为在流形上使用梯度方法提供了重要的可靠性验证。

    Nov, 2023

  • 流形优化的鲁棒 PCA

    本文提出了两种算法 (用于两个版本的收缩)，这些算法基于流形优化思想将稳健主成分分析 (Robust PCA) 问题看作低秩矩阵上的非凸优化问题，与基于 Burer-Monterio 低秩矩阵分解的先前工作相比，本文所提算法在理论上降低了对底层低秩矩阵条件数的依赖，并且仿真和实际数据证实了本方法的竞争性能。

    Aug, 2017

  • （紧）斯蒂费尔流形的统计学理论和应用

    本文定义了一个基于高斯分布的同构空间概率分布，并证明了最大似然估计的位置参数与该概率分布中样本的 Fréchet 平均值相同。同时，我们提出一种递归计算算法来计算来自 Stiefel 流形上高斯分布的 Fréchet 平均值，多组实验数据证明该方法在计算性能上具有优势。

    Jul, 2017

  • 投影梯度下降法的快速低秩估计：广义统计和算法保证

    通过矩阵分解和投影梯度下降算法解决约束最优化问题，提供了一种通用理论框架，当给定适当的初始化时，可以几何级数地收敛到具有统计意义的解，适用于许多具体模型。

    Sep, 2015

  • 基于平滑优化的稀疏广义特征值问题

    为了发现矩阵对的稀疏广义特征向量，提出了一种基于连续代理函数和二次可分离函数的优化算法，并通过平滑技术处理了奇异性问题和特别结构的情况，相较于先前算法更有效。

    Aug, 2014

  • 基于随机优化的规范相关分析高效全局收敛算法

    研究了标准相关分析的随机优化，提出了两种全局收敛的元算法，通过将原问题转化为序列的最小二乘问题，使用最先进的 SGD 方法，并获得了显著的时间复杂度改进。

    Apr, 2016