本研究中,我们在核方法逼近 / 插值理论的一个特定背景下重新审视这一方法。我们定义了特殊函数作为数据信号用于解决监督分类问题,其有效性通过低维例子和高维 MNIST 数字分类问题的应用得到了证明。
Aug, 2022
我们提出了一种高效、轻量级的方法,用于学习任意信号的全连续、各向异性的高斯尺度空间。基于傅立叶特征调制和利普希茨边界,我们的方法通过自我监督训练,能够忠实地捕捉多尺度表示,支持各种应用,包括图像、几何、光场数据、纹理抗锯齿和多尺度优化。
May, 2024
通过设计稳定表现拓扑特征的多尺度核,我们在理论上将拓扑数据分析与流行的基于核的学习技术建立了联系,并证明了该核对于 1-Wasserstein 距离的稳定性。在 3D 形状分类 / 检索和纹理识别的两个基准数据集上的实验证明,与基于持久景观的替代方法相比,所提出的方法具有相当的性能优势。
Dec, 2014
本文提出了一种近似过程以降低基于核的方法中 $O (N^2)$ 复杂度到 $O (N)$,通过分析基础函数的切片版本将任何径向核表示为一维核,并且导出了一维核的解析公式。通过广义 Riemann-Liouville 分数积分,我们可以将 $d$ 维核求和降低为一维设置。为了高效地解决这些一维问题,我们采用快速傅里叶求和在非等距数据上的排序算法或两者的组合。对于高斯核,我们展示了一个与维度无关的误差界限,并通过闭式傅立叶变换表示其一维对应物。同时给出了我们的快速核求和的运行时间比较和误差估计。
Jan, 2024
该研究论文提出了一种新颖的基于网格谱混合核的高斯过程模型,该模型在多维数据中减少了超参数数量并保持了优化结构和逼近能力,以及基于交替方向乘子法框架的分布式算法,可以在大数据环境下协同学习,同时保护数据隐私,并通过量化超参数来解决分布式框架中的通信带宽限制问题,实验证明了该方法在不同数据集上具有优秀的预测性能和效率。
Sep, 2023
提出了一种基于局部线性分类器组合的新非线性分类器,通过使用许多局部线性核将问题转化为 l1 多核学习问题,并提供了一种可扩展的用于处理流核的通用 MKL 训练算法,从而得到了适应高准确性但较慢的非线性分类器和快速但较低准确性的线性分类器之间的分类器。
本文研究了一种最近提出的伪造大型神经网络计算的正定核族。作者采用微分几何工具来研究这些核的性质,具体地,分析了这些核引起的希尔伯特空间表面的几何特征。当该几何被描述为一个黎曼流形时,作者针对其度量、曲率和体积元素导出了结论。值得注意的是,他们发现这个族中最简单的核不允许这样的解释,因此研究了两个用于类神经网络计算的修改的核。作者在多个数据集上实验了这些新的核,并强调了它们在分类中的普遍趋势。
Dec, 2011
该论文提出了一种新的在线最小二乘法算法框架,用于对 RKH 空间中的非线性模型进行建模,通过使用核函数的傅里叶变换的随机特征,将数据映射到有限维欧几里得空间。新算法的优点是不需要任何形式的稀疏化,因为与所有现有算法相比,解决方案的大小保持不变,不随迭代步骤增加。
Jun, 2016
使用正定核函数和稀疏奖励惩罚来实现高维特征空间中的多核学习,从而在非线性变量选择中取得卓越的预测性能。
Sep, 2008
统计学习中的各种方法建立在再生核 Hilbert 空间中的核上。在应用中,核通常根据问题和数据的特征进行选择,然后用于在未观察到解释性数据的点处推断响应变量。本文考虑了在高维紧致集合中定位的数据,并且对核本身的近似进行了讨论。新的方法考虑了径向核函数的 Taylor 级数近似。对于单位立方上的 Gauss 核,本文建立了关联特征值的上限,该特征仅在指数方面呈多项式增长。新方法证实了比文献中考虑的较小正则化参数,从而导致更好的近似。该改进证实了像 Nyström 方法这样的低秩近似方法。
Mar, 2024