ICMLDec, 2013

通过 Givens 旋转实现正交矩阵的高效坐标下降

PDF
TL;DR在求解诸如稀疏主成分分析或张量分解等问题时，优化正交矩阵是其中一个核心问题，本文提出了一种并行的基于 Givens 旋转的正交矩阵优化框架，成功地应用于张量分解和稀疏主成分分析， 并在基因组分析中证明了该框架收敛更快且具有优异的表现。
orthogonal matricesgivens-rotationssparse-pcatensor decompositionalgorithm
发现论文，激发创造
  • 可训练嵌入索引中的旋转矩阵学习的 Givens 坐标下降方法

    本文提出了一种基于几何直觉的块 Givens 坐标下降算法，用于学习旋转矩阵，具有可证明的收敛性和更高的并行性，可显著优化最近邻搜索中的产品量化方法，在端到端训练方案中取得了更好的性能。

    Mar, 2022

  • 参数高效的准正交微调：基于 Givens 旋转方法

    通过引入准 Givens 正交微调（qGOFT），本文旨在提高 Fine-tuning 中的参数效率，并增强其适应各种下游任务的能力。在实验中，我们使用不同的任务和预训练语言模型验证了我们方法的有效性。

    Apr, 2024

  • 学习非正交矩阵进行旋转估计

    我们提出了一种不需要正交化的旋转矩阵表示方法（PRoM），通过在各种旋转相关任务中替换正交化过程，实现了在人体姿势估计方面的大规模基准测试中取得的最先进的结果。

    Dec, 2023

  • 图上正交矩阵同步的分布式方法

    本文讨论如何在有向图上实现正交矩阵的同步化问题，提出了两种新算法，分别适用于对称图和非对称图，并经过数值模拟验证了其效果。

    Jan, 2017

  • 投影梯度下降法的快速低秩估计：广义统计和算法保证

    通过矩阵分解和投影梯度下降算法解决约束最优化问题，提供了一种通用理论框架，当给定适当的初始化时，可以几何级数地收敛到具有统计意义的解，适用于许多具体模型。

    Sep, 2015

  • 近线性计算复杂度下的密集核矩阵压缩、反演和近似 PCA

    通过对协方差函数的未完全 Cholesky 分解，可以在近线性的复杂度内压缩、反演和近似 PCA 大量协方差矩阵，并提供了具有最佳收敛速度的近似稀疏 PCA。

    Jun, 2017

  • 解线性系统的高效加速坐标下降方法和更快的算法

    该论文介绍了如何加速随机坐标下降方法，提高收敛速度，同时又不用支付每次迭代的代价。它提出了一个新的通用方法，并证明它的收敛性，并在多个领域中获得更快的渐近运行时间。

    May, 2013

  • 在克罗内克分解的特征基上进行快速近似自然梯度下降

    本研究提出了一种基于 Kronecker 分解的特殊的对角方差近似算法，可以提高多层神经网络的优化速度。

    Jun, 2018

  • 随机广义 Stiefel 流形上的无回退优化

    我们提出了一种便宜的随机迭代方法，解决了通过对可行解的随机估计来优化在广义斯蒂弗尔流形上的问题。该方法具有较低的每次迭代成本，只需要进行矩阵乘法，并且具有与完整矩阵 B 相关的 Riemannian 方法相同的收敛速度。实验证明了其在包括 CCA、ICA 和 GEVP 在内的各种涉及广义正交性约束的机器学习应用中的有效性。

    May, 2024

  • 通过低秩和稀疏矩阵分解实现鲁棒旋转同步

    该研究提出了一种针对 3D 点集和运动结构中出现的旋转同步问题的低秩和稀疏矩阵分解及最小化策略 R-GoDec，并在模拟和实际数据中对其性能进行验证，实验结果表明 R-GoDec 是最快的鲁棒性算法之一。

    May, 2015