研究关于核方法泛化误差的精确估计,探讨核函数和神经网络之间的相似性,并引入一族特定的光谱算法,通过学习特征来推导出这种估计,从而给出了高维高斯和低维平移不变模型下的全面损失渐近表达,以及对于噪声观测的损失局部化和非光谱问题具有普适性的猜想。
Mar, 2024
本文提出了一种基于非平稳谱核并能从数据中灵活学习谱度量的强大高效谱核学习框架,还导出了一个基于 Rademacher 复杂度的数据相关推广误差界,并提出两个正则化项以提高性能。实验结果表明该算法的有效性并验证了作者的理论结果。
Sep, 2019
本研究提出了一种基于非对称核的泛化途径来研究基于核的网络的逼近能力,使用了一系列核并得出了与输入空间维度相比具有较小光滑度的函数逼近结果。
May, 2023
该论文提出了一种基于核函数的机器学习算法,可以通过对数据集的分组进行处理,采用独立同分布的样本集作为数据点,利用非参数估计器提取核函数特征从而实现多种分类、回归和异常检测等任务。
Feb, 2012
介绍了可伸缩的深度核,将深度学习架构的结构属性与核方法的非参数灵活性相结合,通过局部核插值、引入点、Kronecker 和 Toeplitz 代数进行转换,使用这些闭式核可以用作标准核的替代品,在表达能力和可伸缩性方面具有优势,通常情况下,学习和推断代价为 $ O (n)$,而预测代价为每个测试点的 $O (1)$。
Nov, 2015
探究基于核回归的可推广性误差,解释了以 “简单函数” 为特征的归纳偏差,并表明更多数据可能会损害推广能力,还研究了与无限宽深度神经网络相关的旋转不变内核的数学性质。
Jun, 2020
通过对核岭回归进行一般性等价性和谱特性的分析,证明了从数据中可以获得核运算符的特征分解来近似预测错误,并证明广义交叉验证方法可以用于估计核岭回归的测试误差和最优正则化参数。
通过基于先前指定的内核,采用数值逼近方法进行核函数选择 / 构造,从而探索构造非参数深度内核的解决方案,通过减半插值点的数量(使用与内核相关联的本征 RKHS 范数进行度量)而不会显着损失精度的简单前提来进行核函数选择。
Aug, 2018
统计学习中的各种方法建立在再生核 Hilbert 空间中的核上。在应用中,核通常根据问题和数据的特征进行选择,然后用于在未观察到解释性数据的点处推断响应变量。本文考虑了在高维紧致集合中定位的数据,并且对核本身的近似进行了讨论。新的方法考虑了径向核函数的 Taylor 级数近似。对于单位立方上的 Gauss 核,本文建立了关联特征值的上限,该特征仅在指数方面呈多项式增长。新方法证实了比文献中考虑的较小正则化参数,从而导致更好的近似。该改进证实了像 Nyström 方法这样的低秩近似方法。
该论文研究了核岭回归在高维情况下存在偏差的问题,分析了常用核函数(如 RBF 核、内积核和全连接 NTK 核)的旋转不变性属性在高维情况下对低次多项式存在偏差,从而阐明了核岭回归普遍性一般性误差的下限,这表明核函数的结构超出了其特征值衰减和需要更精细的分析。
Apr, 2021