ICMLSep, 2018

再生核 Krein 空间中的可扩展学习

PDF
TL;DR本文首次提供了 Nyström 方法用于求解不定核的低秩矩阵逼近的数学完整证明，并提出了一种高效的方法来寻找这种核矩阵的近似特征分解，以此构建可在再现核 Krein 空间中学习的高度可扩展方法。这些方法提供了一种有原则的并且理论基础良好的方法来解决大规模关于不定核的学习问题。本文的主要动机来自于具有结构表示的问题（例如图形，字符串，时间序列），在这些问题上，根据直觉和 / 或领域专家的知识很容易设计出一对一的（不）相似度函数。这些函数通常不是正定形的，并且超出了实践者的专业知识范围。本文使用不定核构建在结构化和向量化数据表示中，通过经验证明了这些方法的有效性。
nyström methodlow-rank approximationkernel matriceskrein spacesstructured representations
发现论文，激发创造
  • 基于可正分解核的几何学习

    核方法在机器学习中是强大的工具。对于非欧几里德数据空间，我们提出了使用再生核 Krein 空间（RKKS）方法，该方法仅需要具有正分解的核函数。我们研究了核函数正分解的条件，并表明不需要访问该分解就能在 RKKS 中进行学习。因此，RKKS 方法具有理论基础，为非欧几里德数据的核学习提供了可行途径。

    Oct, 2023

  • 可扩展的非参数学习的分层组合核

    本文提出了一个基于层次划分的新型核函数，可以减轻用于核方法的大规模非参数学习的计算复杂度并且在实验中提高了表现。

    Aug, 2016

  • 近似比集中更有效？平滑径向核推理的近似观点

    探讨了正定核及其相关重现核希尔伯特空间的逼近性质，包括核算子和矩阵的特征值衰减、特征函数 / 特征向量的性质、核空间中函数的 “傅里叶” 系数以及核的拟合能力等，并给出了限制在离散数据点上的重现核希尔伯特空间球体的胖打散维度的明确界限，讨论了正定核的容量限制及其对梯度下降等算法的影响。

    Jan, 2018

  • 一种在线多核并行学习方案

    本文提出了一种学习方案，通过可扩展地结合多个基于单核的在线方法来减少内核选择偏差，从而扩展了单核解空间，增加了找到高性能解的可能性，并在累积正则化最小二乘成本指标方面实验证明所提出的学习方案优于单独使用的组合单核在线方法。

    Aug, 2023

  • 关于核函数的近似方法

    统计学习中的各种方法建立在再生核 Hilbert 空间中的核上。在应用中，核通常根据问题和数据的特征进行选择，然后用于在未观察到解释性数据的点处推断响应变量。本文考虑了在高维紧致集合中定位的数据，并且对核本身的近似进行了讨论。新的方法考虑了径向核函数的 Taylor 级数近似。对于单位立方上的 Gauss 核，本文建立了关联特征值的上限，该特征仅在指数方面呈多项式增长。新方法证实了比文献中考虑的较小正则化参数，从而导致更好的近似。该改进证实了像 Nyström 方法这样的低秩近似方法。

    Mar, 2024

  • Nyström 方法的递归抽样

    本文首次提出一种核 Nystr"om 逼近算法，它在所有核矩阵中都具有可证明的准确性，且其运行时间与训练点数成线性关系，并利用快速递归采样方案，实现了基于支撑点的快速采样，相较于常用技术如均匀采样 Nystr"om 逼近和随机 Fourier 特征方法，找到更精确、低秩的核逼近方法的速度更快。

    May, 2016

  • 高维非线性多元回归和 Granger 因果关系的可扩展矩阵核学习

    提出了一种矩阵值多核学习框架，可用于高维非线性多元回归问题，并使用广泛的 Mixed Norm Regularizers 支持字典的向量值再现核希尔伯特空间上的疏松度约束；通过该框架，高维因果推断任务可被自然地看作稀疏函数估计问题进行，从而引出了一类新的图形 Granger 因果分析技术的非线性扩展。

    Aug, 2014

  • 利用再生核空间插值和模型减缩训练神经网络

    使用内插技术从再生核希尔伯特空间理论中介绍和研究训练神经网络的理论，进而泛化到 Krein 空间，并展示了广泛使用的神经网络体系结构是再生核 Krein 空间的子集。通过多个复变量函数的理论概念，证明了著名的 Adamjan-Arov-Krein（AAK）定理的可计算多维推广，得到了一种新的神经网络类别，称为 Prolongation 神经网络（PNN）。证明指出利用多维 AAK 定理来获得 PNN，可以在噪声环境中获得优于内插方法和当前最先进方法的性能。在实践中提供了有用的应用示例。

    Aug, 2023

  • 无限可分核的信息论学习

    本文基于无限可分矩阵提出了信息论学习的框架，构建了基于 Renyi 公理定义熵的正定矩阵熵 - like 函数，并提出了无限可分的概念。通过矩阵表示的条件熵推导出一种监督指标学习算法，实验结果可与现有技术媲美。

    Jan, 2013

  • 大规模核方法独立性检验

    本文通过对大规模核逼近方法的研究，对比块状、Nystrom 和随机 Fourier 特征方法的性能，展示了这些新型的大规模方法在独立性检验中具有与现有方法相当的性能，但使用的计算时间和内存显著减少。

    Jun, 2016