Jun, 2024

通过耦合协方差进行特征空间学习：非对称核SVD和Nyström方法

HTML
PDF
TL;DR基于协方差算子的耦合协方差本征值问题，提出了一种新的非对称学习范式，与KSVD相关的非对称内核矩阵SVD获得解决方案。通过有限样本近似形式化了非对称Nystrom方法以加快训练，并验证了KSVD的实际效用和优势。
发现论文，激发创造
  • 从转换的未标记数据中提取的幺正群不变核和特征

    本文介绍了一种利用不变内积核解决数据转换问题的 SVM，以及一种基于单位群不变特征提取方法，实验证明了这些方法的有效性。

    Nov, 2015

  • 双向核矩阵镂空：走向高效PCA和 谱聚类

    本文介绍了一种基本的计算和存储降低方法，用于光谱聚类和主成分分析。该方法可以大幅度减少数据矩阵和其相应内核（Gram）矩阵的计算复杂度和存储需求，而仍然能保持一定的性能。

    Feb, 2021

  • 非线性SVD与非对称核：特征学习和非对称Nyström方法

    本文提出了一种非线性扩展的KSVD方法，通过非对称核实现矩阵奇异值分解，并引入对称约束，提高了分类性能和速度。

    Jun, 2023

  • 提高Nyström方法在低秩近似中的精度

    本文提出了一系列启发式策略，使Nyström方法在nonsymmetric或rectangular矩阵中具有高准确度，通过交替方向细化过程，将Nyström方法和瘦秩揭示分解作为快速枢轴策略。

    Jul, 2023

  • 自注意力通过核-特征值对稀疏变分高斯过程

    通过使用Kernel-Eigen Pair Sparse Variational Gaussian Processes (KEP-SVGP)，解决了注意力核的非对称性问题，并获得了降低时间复杂度的方法，验证了其在多个基准测试中的出色性能和有效性。

    Feb, 2024

  • 健壮的SVD简化版：大规模数据分析的快速可靠算法

    本研究提出了一种高效的算法，叫做球形归一化奇异值分解(SVD)，用于稳健的奇异值分解近似，对异常值不敏感、可扩展的计算，提供准确的奇异向量估计。该算法通过仅使用标准降秩奇异值分解算法对适当缩放的数据进行两次计算，实现了显著的计算速度，并在计算时间上明显优于竞争算法。为评估估计奇异向量及其子空间的稳健性，我们引入了矩阵型输入的新的破坏点概念，包括按行、按列和按块的破坏点。理论和实证分析表明，与标准SVD及其修改相比，我们的算法具有更高的破坏点。我们在高维微阵列数据集的鲁棒低秩逼近和鲁棒主成分分析等应用中，经验地验证了我们方法的有效性。总体而言，本研究提供了一种高效且稳健的SVD近似解决方案，克服了现有算法在异常值存在时的局限性。

    Feb, 2024

  • 一种核岭回归的非渐进理论：确定性等效、测试误差和GCV估计器

    通过对核岭回归进行一般性等价性和谱特性的分析，证明了从数据中可以获得核运算符的特征分解来近似预测错误，并证明广义交叉验证方法可以用于估计核岭回归的测试误差和最优正则化参数。

    Mar, 2024

  • 谱算法的泛化误差

    研究关于核方法泛化误差的精确估计，探讨核函数和神经网络之间的相似性，并引入一族特定的光谱算法，通过学习特征来推导出这种估计，从而给出了高维高斯和低维平移不变模型下的全面损失渐近表达，以及对于噪声观测的损失局部化和非光谱问题具有普适性的猜想。

    Mar, 2024

  • 非对称数据的对称核函数：一个与数据无关的可学习性界限

    利用高度理想化的数据测度所关联的特征值和特征函数，可以限制与现实数据上可学性相关的理论下界。作为示例，我们给出了与自然语言处理中的泛化变换器相关的核的复制头样本复杂性的理论下界。

    Jun, 2024

  • 核随机矩阵和核回归在二次范式中的普适性

    本研究解决了现有核岭回归（KRR）在比例渐近范式下研究的局限性，扩展到二次渐近范式中。在这一新范式下，提出了一种核随机矩阵的近似界限，揭示了广泛的内积核的行为与二次核相似的特性。该研究为KRR的渐近训练和泛化误差提供了新的见解，具有重要的理论和实际应用价值。

    Aug, 2024