本文回顾了利用正定核的机器学习方法,这些方法可以在函数空间构建学习和估计问题,包括二元分类器和结构化数据估计方法,并且这些方法适用于非线性函数和非矢量数据。
Jan, 2007
核方法在机器学习中是强大的工具。对于非欧几里德数据空间,我们提出了使用再生核 Krein 空间(RKKS)方法,该方法仅需要具有正分解的核函数。我们研究了核函数正分解的条件,并表明不需要访问该分解就能在 RKKS 中进行学习。因此,RKKS 方法具有理论基础,为非欧几里德数据的核学习提供了可行途径。
Oct, 2023
该研究提出了一种简单有效的方法,将概率分布嵌入再应用岭回归 算法来解决分布回归问题,同时证明该方法的稳定性和收敛速度,回答了 15 年来未解决的开放性问题,并涵盖了一系列相关的概率分布问题。
Feb, 2014
该论文提出了一种基于核函数的机器学习算法,可以通过对数据集的分组进行处理,采用独立同分布的样本集作为数据点,利用非参数估计器提取核函数特征从而实现多种分类、回归和异常检测等任务。
Feb, 2012
本文研究了分布回归问题,提出了一种基于再生核希尔伯特空间的简单分析计算的岭回归方法,证明了该方法在两阶段抽样设置下是一致的,并且该估算器能够达到一阶段最小化最优速率。
Nov, 2014
本文提出了一种学习方案,通过可扩展地结合多个基于单核的在线方法来减少内核选择偏差,从而扩展了单核解空间,增加了找到高性能解的可能性,并在累积正则化最小二乘成本指标方面实验证明所提出的学习方案优于单独使用的组合单核在线方法。
Aug, 2023
统计学习中的各种方法建立在再生核 Hilbert 空间中的核上。在应用中,核通常根据问题和数据的特征进行选择,然后用于在未观察到解释性数据的点处推断响应变量。本文考虑了在高维紧致集合中定位的数据,并且对核本身的近似进行了讨论。新的方法考虑了径向核函数的 Taylor 级数近似。对于单位立方上的 Gauss 核,本文建立了关联特征值的上限,该特征仅在指数方面呈多项式增长。新方法证实了比文献中考虑的较小正则化参数,从而导致更好的近似。该改进证实了像 Nyström 方法这样的低秩近似方法。
Mar, 2024
通过使用再生核希尔伯特空间的范数作为正则化深度神经网络的新视角来提高学习效果,并提出了一些新的有效的正则化策略,实验结果表明这种方法在小数据集或对抗鲁棒性较高的模型上都取得了很好的效果。
Sep, 2018
本文研究了在重现核希尔伯特空间中进行正则化学习情景时,如何在核函数的温和假设下获得最佳的错误率。研究发现,可以利用一种增长速度比 RKHS 规范中的标准二次增长慢得多的正则化项。
Jan, 2010
本文介绍了如何在函数数据上使用再生核希尔伯特空间理论进行有监督学习和回归,扩展了基于核的学习的概念和性质,包括估计函数值函数的算法,阐述了一套严格定义的无限维算子值核,以及非线性函数数据分析的学习算法,并通过语音和音频信号处理实验进行了说明。
Oct, 2015