Mar, 2024

关于核函数的近似方法

PDF
TL;DR统计学习中的各种方法建立在再生核 Hilbert 空间中的核上。在应用中，核通常根据问题和数据的特征进行选择，然后用于在未观察到解释性数据的点处推断响应变量。本文考虑了在高维紧致集合中定位的数据，并且对核本身的近似进行了讨论。新的方法考虑了径向核函数的 Taylor 级数近似。对于单位立方上的 Gauss 核，本文建立了关联特征值的上限，该特征仅在指数方面呈多项式增长。新方法证实了比文献中考虑的较小正则化参数，从而导致更好的近似。该改进证实了像 Nyström 方法这样的低秩近似方法。
statistical learningkernelsreproducing kernel hilbert spacestaylor series approximationsregularization parameters
发现论文，激发创造
  • 近似比集中更有效？平滑径向核推理的近似观点

    探讨了正定核及其相关重现核希尔伯特空间的逼近性质，包括核算子和矩阵的特征值衰减、特征函数 / 特征向量的性质、核空间中函数的 “傅里叶” 系数以及核的拟合能力等，并给出了限制在离散数据点上的重现核希尔伯特空间球体的胖打散维度的明确界限，讨论了正定核的容量限制及其对梯度下降等算法的影响。

    Jan, 2018

  • 对降秩高斯过程回归的希尔伯特空间方法

    本文针对高斯过程回归的降维问题，提出了一种基于 Laplace 算子的特征函数分解方法，可以有效提高模型的预测速度和计算效率，并同时确保了较低的截断误差。

    Jan, 2014

  • 向量值函数的核函数：一篇综述

    介绍了核方法在机器学习中的应用，特别是在多输出学习和概率和函数方法之间的联系方面。

    Jun, 2011

  • 低秩核矩阵近似的尖锐分析

    本文研究了在正定核框架下的监督学习问题，提出了基于随机矩阵列采样的核矩阵低秩近似方法，此方法可以在 sub-quadratic 的时间复杂度内有效解决核矩阵计算问题，同时保持预测性能不变。

    Aug, 2012

  • 机器学习中的核方法

    本文回顾了利用正定核的机器学习方法，这些方法可以在函数空间构建学习和估计问题，包括二元分类器和结构化数据估计方法，并且这些方法适用于非线性函数和非矢量数据。

    Jan, 2007

  • 用于函数响应数据学习的算子值核

    本文介绍了如何在函数数据上使用再生核希尔伯特空间理论进行有监督学习和回归，扩展了基于核的学习的概念和性质，包括估计函数值函数的算法，阐述了一套严格定义的无限维算子值核，以及非线性函数数据分析的学习算法，并通过语音和音频信号处理实验进行了说明。

    Oct, 2015

  • 关于核学习的复杂性

    本文主要研究降低核矩阵计算成本的方法，并针对观测的核矩阵条目数或近似核矩阵的秩，确定这些方法在错误达到下限的条件。研究结果表明损失函数，正则化参数，期望预测器的范数和核矩阵秩等参数与问题难度有关，同时提出了更高效的核学习可能的情况。

    Nov, 2014

  • 来自数据的核学习到深渊的核流

    通过基于先前指定的内核，采用数值逼近方法进行核函数选择 / 构造，从而探索构造非参数深度内核的解决方案，通过减半插值点的数量（使用与内核相关联的本征 RKHS 范数进行度量）而不会显着损失精度的简单前提来进行核函数选择。

    Aug, 2018

  • 由广义高斯 RBF 生成的复制核希尔伯特空间的预约 $L^2$- 度量

    应用广义高斯径向基函数（RBF）在机器学习算法中的性能优于其他函数，通过对比高斯 RBF 核函数、Sigmoid 函数和 ReLU 函数，本文展示了广义高斯 RBF 在核函数中的应用及其在核回归、支持向量机（SVM）和模式识别中的成果。

    Dec, 2023

  • 核基学习中的稀疏逼近方法的改进收敛速率

    本文针对核方法的高计算成本问题，提出了 Nyström 方法和稀疏变分高斯过程逼近方法的置信区间，从而改进了模型在回归和优化问题中的性能界限。

    Feb, 2022