用于函数响应数据学习的算子值核
统计学习中的各种方法建立在再生核 Hilbert 空间中的核上。在应用中,核通常根据问题和数据的特征进行选择,然后用于在未观察到解释性数据的点处推断响应变量。本文考虑了在高维紧致集合中定位的数据,并且对核本身的近似进行了讨论。新的方法考虑了径向核函数的 Taylor 级数近似。对于单位立方上的 Gauss 核,本文建立了关联特征值的上限,该特征仅在指数方面呈多项式增长。新方法证实了比文献中考虑的较小正则化参数,从而导致更好的近似。该改进证实了像 Nyström 方法这样的低秩近似方法。
Mar, 2024
本文提供一种有限样本和无限样本再生核希尔伯特空间的(线性组合的)核函数连接的表现定理,将分析函数组成的机器学习算法的数学基础。同时,我们还展示了如何将连接的机器学习问题重构为神经网络,并说明了我们的表现定理适用于各种先进的深度学习方法。
Sep, 2017
利用扩展的再生核希尔伯特空间(RKHS)理论建立了一个新的框架,可以对功能响应进行函数回归模型建模。该方法只假定一般非线性回归结构,而不是以前研究过的线性回归模型,并提出了广义交叉验证(GCV)来进行自动平滑参数估计。新的 RKHS 估计方法在模拟和实际数据上进行了应用。
Feb, 2007
通过使用神经网络来近似再生核希尔伯特空间中的泛函的普适性,以及将其应用于广义函数线性模型的函数回归,本研究探讨了将功能性数据(如时间序列和图像)整合到神经网络中学习函数空间到 R 的映射(即泛函)的方法。同时,通过在再生核希尔伯特空间中建立内插正交投影,提出的网络简化了现有的功能学习工作,使用点评估替代基函数展开。
Mar, 2024
研究最优实验设计,针对再生核希尔伯特空间(RKHS)中的线性泛函估计,提供了构建偏差感知设计的算法,并推导出在次高斯噪声下的固定和自适应设计的非渐进置信集,使得可以高概率地证明具有有界误差的估计。
May, 2022
本文提出了一种基于函数内核的学习方法(FKL),通过将高斯过程置于谱密度上,直接推断出内核的功能后验分布,从而能够支持任何平稳内核,具有对内核值的不确定性,以及直接对内核的先验规范,而不需要复杂的初始化或人为干预。我们通过椭圆切片采样进行推断,这对于较强相关性先验的函数空间建模尤其适用。我们将我们的方法应用于非均匀、大规模、多任务和多维数据,并在插值、外推和内核恢复实验中展现了良好的性能。
Oct, 2019
机器学习中一个核心主题是从稀疏和嘈杂的数据中进行函数估计。本文研究了内核岭回归,并推导了在非平稳分布下的收敛条件,同时解决了可能无限次发生的随机调适情况,包括重要的探索 - 开发问题。
Oct, 2023
探讨了正定核及其相关重现核希尔伯特空间的逼近性质,包括核算子和矩阵的特征值衰减、特征函数 / 特征向量的性质、核空间中函数的 “傅里叶” 系数以及核的拟合能力等,并给出了限制在离散数据点上的重现核希尔伯特空间球体的胖打散维度的明确界限,讨论了正定核的容量限制及其对梯度下降等算法的影响。
Jan, 2018