Jun, 2023

对称张量分解问题的对称性和临界点

PDF
TL;DR本研究考虑了将一个实对称张量分解为一些一阶秩张量之和的非凸优化问题，并利用该张量的对称结构导出 Puiseux 序列表示的关键点族。最终得出了关键值和 Hessian 谱的精确分析估计，并发现一组纷繁复杂的鞍点和局部最小值的解析特性与对称结构的差异。另外，本文证明了随着目标函数值的增加，每个关键点的指数（即负 Hessian 特征值的数量）也随之增加，并使用 Newton 多面体论证明了固定对称性的所有关键点的完全列举。本研究的研究结果指出了各种地方性障碍的解析特征，并揭示了某些非全局极小值家族的出现与消失。
发现论文，激发创造
  • 逃离鞍点 —— 基于在线随机梯度的张量分解

    本研究针对非凸函数的优化问题，通过分析其严格鞍点特性，提出了一种可有效优化的解法 —— 随机梯度下降法，并给出了其多项式迭代次数的局部最小值收敛保证以及应用于正交张量分解问题上的全局收敛保证。

    Mar, 2015

  • 远离基准解的虚假解缺席：低秩分析与高阶损失

    通过推导理论，证明矩阵感知问题中存在有利于优化的严格鞍点，从而解释了非凸优化中的复杂性，并介绍了高阶损失函数对远离真实矩阵的鞍点的影响，加速了逃离和解决非凸优化问题，为解决机器学习中的更广泛目标提供了一个综合框架。

    Mar, 2024

  • 非凸矩阵分解的对称性、鞍点和全局优化景观

    提出了一种用于研究具有对称结构的非凸优化景观的通用理论，基于不变群对目标函数的 Hessian 矩阵进行分析并应用于低秩矩阵分解问题，其中研究了所有驻点和全局最小值，将整个参数空间划分为三个区域，为常见迭代算法提供了强有力的全局收敛保证。

    Dec, 2016

  • 深度网络中的权重空间对称性导致排列鞍点出现，在损失景观中通过等损谷相连

    该研究利用深度神经网络计算的几何方法，探讨网络层之间的置换对全局极小化及鞍点问题的影响及其数学意义。

    Jul, 2019

  • 线性张量变换的分解

    本研究论文旨在开发一种能够将张量表示为有限数量低秩张量之和的精确张量分解的数学框架，通过解决三个不同的问题来导出：i）非负自伴随张量算子的分解；ii）线性张量变换的分解；iii）一般张量的分解。

    Sep, 2023

  • 张量分解的优化景观

    本研究分析了随机超完备张量分解问题的优化景观，证明了所有局部最大值都是近似的全局最大值，为使用基于梯度的局部搜索算法解决非凸优化问题提供了理论支持。

    Jun, 2017

  • 张量分解的平滑分析

    通过平滑分析模型，本文提出了一种针对高度过完备情况（秩多项式于该张量维度）的张量分解的有效算法，且该算法具有鲁棒性，即使输入存在逆多项式误差，其表现依然可靠。该算法的线性独立性结果为我们在学习过程中应用张量方法提供了方便，为多视图模型和轴向高斯混合等学习问题的研究提供了更多的组件维度。

    Nov, 2013

  • 低秩矩阵优化的非凸几何

    本文针对两个广泛使用的最小化问题：凸函数最小化问题和加上核范数的凸函数最小化问题，提出使用低秩分解和替代核范数的方法来加速求解问题，并证明其可以在全局范围内找到最优解。

    Nov, 2016

  • 学习潜变量模型的张量分解

    本文研究了一种高效的参数估计方法，可用于广泛的潜变量模型，特别是那些具有张量结构的模型，包括高斯混合模型、隐马尔可夫模型和潜在狄利克雷分配模型，通过对表示模型可观测矩阵的低阶矩（通常为二阶和三阶）的张量进行分解获得。方法为鲁棒性较强、可有效计算，并可应用于多个流行的潜变量模型。

    Oct, 2012

  • 三阶张量的标准多项式分解：松弛唯一性条件和代数算法

    本研究提出了一种基于线性代数的算法，用于在满足一定条件的情况下计算张量的规范分解，其中的限制条件为张量的秩不超过其维度之和减二除以二再加上 K 减去 sqrt ((I-J)^2+4K) 除以二，该算法可以在少于 1 秒的时间内计算张量的规范分解。

    Jan, 2015