该论文提出了一种基于核函数的机器学习算法,可以通过对数据集的分组进行处理,采用独立同分布的样本集作为数据点,利用非参数估计器提取核函数特征从而实现多种分类、回归和异常检测等任务。
Feb, 2012
统计学习中的各种方法建立在再生核 Hilbert 空间中的核上。在应用中,核通常根据问题和数据的特征进行选择,然后用于在未观察到解释性数据的点处推断响应变量。本文考虑了在高维紧致集合中定位的数据,并且对核本身的近似进行了讨论。新的方法考虑了径向核函数的 Taylor 级数近似。对于单位立方上的 Gauss 核,本文建立了关联特征值的上限,该特征仅在指数方面呈多项式增长。新方法证实了比文献中考虑的较小正则化参数,从而导致更好的近似。该改进证实了像 Nyström 方法这样的低秩近似方法。
Mar, 2024
探讨了正定核及其相关重现核希尔伯特空间的逼近性质,包括核算子和矩阵的特征值衰减、特征函数 / 特征向量的性质、核空间中函数的 “傅里叶” 系数以及核的拟合能力等,并给出了限制在离散数据点上的重现核希尔伯特空间球体的胖打散维度的明确界限,讨论了正定核的容量限制及其对梯度下降等算法的影响。
Jan, 2018
提出一种基于核的方法,用于构建定义函数,它可以应用于从完全维数的流形到点云的任意有界光滑流形的内插和分析,通过线性组合平移核函数得到签名函数,可用于估计维数、法向量和曲率,方法以全局性、不依赖于数据集中其他结构的特点,通过一种变分形式进行正则化,克服了噪音和误差的问题。
本研究通过核方法的角度对卷积核网络进行了研究,发现其 RKHS 由补丁之间的交互项的加性模型组成,其范数通过汇聚层促进这些项之间的空间相似性,并提供了泛化界,以说明池化和补丁如何提高样本复杂度保证。
Feb, 2021
本文介绍了如何在函数数据上使用再生核希尔伯特空间理论进行有监督学习和回归,扩展了基于核的学习的概念和性质,包括估计函数值函数的算法,阐述了一套严格定义的无限维算子值核,以及非线性函数数据分析的学习算法,并通过语音和音频信号处理实验进行了说明。
Oct, 2015
用 KIP 算法从大规模数据集中提取出适合于训练机器学习模型的小规模数据集且在保持模型性能的同时可以大幅减小数据集容量的同时可以实现隐私保护,该算法在 MNIST 和 CIFAR-10 的分类中获得了最先进的结果。
Oct, 2020
通过基于先前指定的内核,采用数值逼近方法进行核函数选择 / 构造,从而探索构造非参数深度内核的解决方案,通过减半插值点的数量(使用与内核相关联的本征 RKHS 范数进行度量)而不会显着损失精度的简单前提来进行核函数选择。
Aug, 2018
使用不带显式正则化的核 “无岭” 回归及非线性核函数能完美拟合训练数据,本文分离了最小范数插值解的隐含正则化现象,这是由于输入数据的高维性、核函数的曲率以及数据的几何特性所导致的,并给出了一种数据相关的外样本误差的上界估计。
机器学习中一个核心主题是从稀疏和嘈杂的数据中进行函数估计。本文研究了内核岭回归,并推导了在非平稳分布下的收敛条件,同时解决了可能无限次发生的随机调适情况,包括重要的探索 - 开发问题。
Oct, 2023