Jun, 2023

非线性 SVD 与非对称核：特征学习和非对称 Nyström 方法

PDF
TL;DR本文提出了一种非线性扩展的 KSVD 方法，通过非对称核实现矩阵奇异值分解，并引入对称约束，提高了分类性能和速度。
发现论文，激发创造
  • 通过耦合协方差进行特征空间学习：非对称核 SVD 和 Nyström 方法

    基于协方差算子的耦合协方差本征值问题，提出了一种新的非对称学习范式，与 KSVD 相关的非对称内核矩阵 SVD 获得解决方案。通过有限样本近似形式化了非对称 Nystrom 方法以加快训练，并验证了 KSVD 的实际效用和优势。

    Jun, 2024

  • 原始 - 注意力：通过原始表示中的非对称核 SVD 进行自注意力

    本文提供了一种新的角度，通过非对称的核奇异值分解 (KSVD) 来表示和优化自注意力，使得低秩特性在没有额外分解的情况下得到提升。

    May, 2023

  • 从压缩测量中恢复谱特征的描绘 SVD

    本文考虑一种流式数据模型，通过计算奇异值分解和草图矩阵，获得与原始数据矩阵非常接近的奇异值和奇异向量。同时，将其应用于流图算法来近似计算具有低秩的计算机网络图 Laplacian 的特征值和特征向量。

    Nov, 2012

  • 健壮的 SVD 简化版：大规模数据分析的快速可靠算法

    本研究提出了一种高效的算法，叫做球形归一化奇异值分解 (SVD)，用于稳健的奇异值分解近似，对异常值不敏感、可扩展的计算，提供准确的奇异向量估计。该算法通过仅使用标准降秩奇异值分解算法对适当缩放的数据进行两次计算，实现了显著的计算速度，并在计算时间上明显优于竞争算法。为评估估计奇异向量及其子空间的稳健性，我们引入了矩阵型输入的新的破坏点概念，包括按行、按列和按块的破坏点。理论和实证分析表明，与标准 SVD 及其修改相比，我们的算法具有更高的破坏点。我们在高维微阵列数据集的鲁棒低秩逼近和鲁棒主成分分析等应用中，经验地验证了我们方法的有效性。总体而言，本研究提供了一种高效且稳健的 SVD 近似解决方案，克服了现有算法在异常值存在时的局限性。

    Feb, 2024

  • 非随机特征

    本文提出一种基于 Fourier 分析的方法，用于训练翻译不变或旋转不变的核，并通过一种在线平衡找到动态算法来解释我们的算法，并在合成和现实世界数据集上进行评估，证明了扩展性和与相关随机特征方法相比的一致改进。

    Oct, 2017

  • 随机奇异值分解的一般化

    本文介绍了随机 SVD 方法的推广版，使用多元高斯向量代替标准高斯向量进行矩阵 - 向量乘积，以允许将先前的知识加入算法中，进而探索基于高斯过程函数的 Hilbert-Schmidt（HS）算子的随机 SVD 的连续模拟。文中提出了一种新的基于加权 Jacobi 多项式的协方差核，从而使随机生成的函数具有良好的平滑性，再通过数值实验证明其适用性。

    May, 2021

  • 通用核学习的高效凸优化算法

    本文提出了一种基于最小最大优化问题的 SVD-QCQP 原始 - 对偶算法来优化半可分离核函数，极大地降低了计算复杂度，并且在分类和回归中提供了有效的实现。当应用于基准数据时，该算法表现出了显著的精度改进潜力，而计算时间与神经网络和随机森林等典型方法相似甚至更好。

    Apr, 2023

  • Nystroöm 方法在矩阵压缩中的应用

    介绍了如何使用 Nyström 方法来寻找一般矩阵的奇异值分解和方阵的特征值分解，从而得到压缩版本的矩阵，并在选择 A_M 方面提出了一个好的初始采样算法，适用于一般矩阵和核矩阵。

    May, 2013

  • 自注意力通过核 - 特征值对稀疏变分高斯过程

    通过使用 Kernel-Eigen Pair Sparse Variational Gaussian Processes (KEP-SVGP)，解决了注意力核的非对称性问题，并获得了降低时间复杂度的方法，验证了其在多个基准测试中的出色性能和有效性。

    Feb, 2024

  • Nyström 内核 Stein 差异

    通过在大规模场景中应用 Nyström-based KSD 加速方法，本研究提出了一种基于核方法的新的好拟合测试方法，并在一系列基准测试中展示了其适用性。

    Jun, 2024