本文提出了一种基于 Riemann manifold 预处理的新型张量完成问题求解方式,通过利用代价函数的最小二乘结构和 Tucker 分解的结构对称性,提出了一种新的 Riemann 度量或内积,使得可以在商流形上使用 Riemannian 优化框架来发展批次和在线设置的预处理非线性共轭梯度和随机梯度下降算法。在各种合成和真实世界数据集上的数值比较表明,所提出的算法在鲁棒性方面优于现有的其他算法。
May, 2016
本文通过串行二次规划和黎曼梯度优化的基本联系,解决了在黎曼优化中选择度量的一般问题,特别是在商流形上寻求黎曼结构的情况下。所提出的方法在具有正交和 / 或秩约束的二次规划中表现得特别明晰高效,覆盖了矩阵流形中当前大多数黎曼优化的应用。
May, 2014
本文提出了特定于低秩矩阵补全问题的新黎曼几何,利用商空间自由度来调节搜索空间的度量,开发了基于梯度下降方案的优化工具,包括陡峭下降和共轭梯度,以及信赖域算法,实现了精确线性搜索,使算法在标准低秩矩阵补全实例上具有与最先进算法相当的性能。
Nov, 2012
研究嵌入低秩矩阵流形的黎曼优化方法在矩阵补全问题上的应用和收敛性,其中采样复杂度能进一步通过重新采样的黎曼梯度下降初始化方法减小,这取决于采样算子的像的非对称限制性同构性质和低秩矩阵流形的曲率。
Mar, 2016
采用 Riemannian 余维度流形上的优化几何方法及其梯度下降和信任区域算法,对学习大型固定秩非对称矩阵的线性回归模型进行了研究,推广了固定秩对称正定矩阵的一般结果,可用于机器学习算法的设计,数值实验表明,与现有算法竞争并提供了一种有效且灵活的算法,用于学习固定秩矩阵。
Sep, 2012
该论文提出了一种新的张量补全问题的公式,以张量列车 (TT) 秩的形式介绍了该公式,可以通过平衡的矩阵化计算有效地捕获张量的全局信息。两种算法被提出来解决相应的张量补全问题。
Jan, 2016
通过引入 Riemannian 预处理器,研究 Low Rank Adaptation(LoRA)微调过程的增强,实验结果表明,使用我们的预处理器可以显著提高 SGD 和 AdamW 的收敛性和稳定性。
Feb, 2024
本文提出了潜在的迹范数的变体,有助于学习非稀疏张量组合,并开发双重框架来解决低秩张量完成问题,探讨了优化问题的微分几何分析与优化框架,实验表明算法在多个应用程序的准确性和计算效率上具有显著效果。
Dec, 2017
本研究考虑在张量完成问题中学习非负低秩张量,并使用对偶理论提出了一种新颖的分解方法,分解将非负约束与低秩约束解耦。所得问题是流形上的优化问题,并提出了 Riemannian 共轭梯度的变种来解决它。实验结果表明,所提出的方法优于许多最先进的张量完成算法。
May, 2023
本文探讨了在张量补全中使用矩阵补全技术的不足之处,并证明了直接最小化张量核范数的凸优化方法对于提高样本需求是有益的。我们通过开发一系列代数和概率技术来建立结果,例如张量核范数的次微分的表征以及张量鞅的浓度不等式,这可能对其他张量相关问题具有独立的兴趣和有用性。