最小二乘插值和核的有限下降和受限低等距
证明使用 Laplace 核对应的再生核希尔伯特空间进行最小范数插值在输入维度为常数时不具有一致性,不论内核带宽选择如何,也不适用于低维数据,这个结果支持了一些高维数据中的最小范数插值具有良好泛化性能的经验观测。
Dec, 2018
对大维数据的核回归进行研究,利用 Mendelson 复杂度和度量熵的上界和下界来表征核回归的极小二乘误差率,进一步确定最优极小二乘误差率,并发现该曲线沿着参数变化时呈现多次下降行为和周期平台行为,同时也适用于神经切线核和宽神经网络。
Sep, 2023
探讨了基于经验风险惩罚的多核学习问题。它综合考虑了经验 $L_2$ 范数和核引起的再生核希尔伯特空间(RKHS)范数及其正则化参数的数据驱动选择的复杂度惩罚。主要关注的是当核心总数很大但仅需要较少数量的核心来表示目标函数时,该问题是稀疏的情况。目标是建立超预言不等式的超额风险,用于描述该方法是如何适应未知设计分布和问题的稀疏性。
Nov, 2012
本文分析了最小范数插值分类器的遗憾和概括,并推导出一种适用于所有数据集的错误边界和正则化变量。当数据独立同分布时,错误边界意味着 MNIC 的泛化率与插值解的范数成比例,与数据点数成反比。作者提出了几个合理的生成模型,并证明只要总变差足够可分,MNIC 就可以以快速率进行泛化。
Jan, 2021
通过基于先前指定的内核,采用数值逼近方法进行核函数选择 / 构造,从而探索构造非参数深度内核的解决方案,通过减半插值点的数量(使用与内核相关联的本征 RKHS 范数进行度量)而不会显着损失精度的简单前提来进行核函数选择。
Aug, 2018
使用不带显式正则化的核 “无岭” 回归及非线性核函数能完美拟合训练数据,本文分离了最小范数插值解的隐含正则化现象,这是由于输入数据的高维性、核函数的曲率以及数据的几何特性所导致的,并给出了一种数据相关的外样本误差的上界估计。
Aug, 2018
通过使用再生核希尔伯特空间的范数作为正则化深度神经网络的新视角来提高学习效果,并提出了一些新的有效的正则化策略,实验结果表明这种方法在小数据集或对抗鲁棒性较高的模型上都取得了很好的效果。
Sep, 2018
本文分析了在 L^∞范数下再现核希尔伯特空间(RKHS)的可学习性,与核方法和随机特征模型在安全和安全关键应用中的性能密切相关,建立了样本复杂度的下限和上限,并证明了在球面上的点积核下,如果 β 与输入维度 $d$ 无关,则可以使用多项式样本有效地学习 RKHS 中的函数。
Jun, 2023