广义谱核
提出了用于高斯过程回归的非平稳谱核,其谱密度由输入依赖高斯过程频率密度表面的混合物建模,实现了能够学习输入依赖和潜在长程非单调协方差(inputs-dependent and potentially long-range, non-monotonic covariances)的一族非平稳和非单调核函数,并借助模型白化和边缘概率等方法推导出有效的推理方法,证明这些核函数在建模具有非平稳特征的时间序列、图像或地理空间数据时是必要的。
May, 2017
本文提出了一种基于非平稳谱核并能从数据中灵活学习谱度量的强大高效谱核学习框架,还导出了一个基于 Rademacher 复杂度的数据相关推广误差界,并提出两个正则化项以提高性能。实验结果表明该算法的有效性并验证了作者的理论结果。
Sep, 2019
研究关于核方法泛化误差的精确估计,探讨核函数和神经网络之间的相似性,并引入一族特定的光谱算法,通过学习特征来推导出这种估计,从而给出了高维高斯和低维平移不变模型下的全面损失渐近表达,以及对于噪声观测的损失局部化和非光谱问题具有普适性的猜想。
Mar, 2024
该研究论文探讨了在重现核希尔伯特空间 (RKHS) 中应用的谱算法,特别关注输入特征空间的内在结构,将输入数据视为嵌入高维欧几里得空间的低维流形,使用积分算子技术导出了关于广义范数的紧密收敛上界,证明估计器在强意义下收敛于目标函数及其导数,进一步建立了渐近优化性的最小化下界,验证了谱算法在高维逼近问题中的实际重要性。
Mar, 2024
本文提出了一种基于函数内核的学习方法(FKL),通过将高斯过程置于谱密度上,直接推断出内核的功能后验分布,从而能够支持任何平稳内核,具有对内核值的不确定性,以及直接对内核的先验规范,而不需要复杂的初始化或人为干预。我们通过椭圆切片采样进行推断,这对于较强相关性先验的函数空间建模尤其适用。我们将我们的方法应用于非均匀、大规模、多任务和多维数据,并在插值、外推和内核恢复实验中展现了良好的性能。
Oct, 2019
介绍了可伸缩的深度核,将深度学习架构的结构属性与核方法的非参数灵活性相结合,通过局部核插值、引入点、Kronecker 和 Toeplitz 代数进行转换,使用这些闭式核可以用作标准核的替代品,在表达能力和可伸缩性方面具有优势,通常情况下,学习和推断代价为 $ O (n)$,而预测代价为每个测试点的 $O (1)$。
Nov, 2015
提出了一类基于谱截断的正定核函数,其主要特点是输入和输出都是函数,引入了一个描述核中乘积的非交换性的截断参数 n。当 n 趋于无穷大时,该核函数接近现有的可交换核函数;当 n 是有限的时候,核函数表现出不同的行为,非交换性在数据函数域上引起了相互作用。通过设置适当的 n 值,可以在表示能力和表示空间的复杂度之间取得平衡,从而超越以前的可交换核函数。
May, 2024
本篇论文提出了一种组合变分方法和光谱表示的高斯过程近似算法,通过研究高斯过程的光谱特征和协方差,进行了相关推导和分析,并将该算法应用于 Matern 核和高维数据的处理中,结果表明该算法在计算速度和精度方面都表现出色。
Nov, 2016
探讨了正定核及其相关重现核希尔伯特空间的逼近性质,包括核算子和矩阵的特征值衰减、特征函数 / 特征向量的性质、核空间中函数的 “傅里叶” 系数以及核的拟合能力等,并给出了限制在离散数据点上的重现核希尔伯特空间球体的胖打散维度的明确界限,讨论了正定核的容量限制及其对梯度下降等算法的影响。
Jan, 2018