可扩展的非参数学习的分层组合核
介绍了可伸缩的深度核,将深度学习架构的结构属性与核方法的非参数灵活性相结合,通过局部核插值、引入点、Kronecker 和 Toeplitz 代数进行转换,使用这些闭式核可以用作标准核的替代品,在表达能力和可伸缩性方面具有优势,通常情况下,学习和推断代价为 $ O (n)$,而预测代价为每个测试点的 $O (1)$。
Nov, 2015
本文首次提供了 Nyström 方法用于求解不定核的低秩矩阵逼近的数学完整证明,并提出了一种高效的方法来寻找这种核矩阵的近似特征分解,以此构建可在再现核 Krein 空间中学习的高度可扩展方法。这些方法提供了一种有原则的并且理论基础良好的方法来解决大规模关于不定核的学习问题。本文的主要动机来自于具有结构表示的问题(例如图形,字符串,时间序列),在这些问题上,根据直觉和 / 或领域专家的知识很容易设计出一对一的(不)相似度函数。这些函数通常不是正定形的,并且超出了实践者的专业知识范围。本文使用不定核构建在结构化和向量化数据表示中,通过经验证明了这些方法的有效性。
Sep, 2018
本文主要研究降低核矩阵计算成本的方法,并针对观测的核矩阵条目数或近似核矩阵的秩,确定这些方法在错误达到下限的条件。研究结果表明损失函数,正则化参数,期望预测器的范数和核矩阵秩等参数与问题难度有关,同时提出了更高效的核学习可能的情况。
Nov, 2014
本文采用数据自适应 RKHS Tikhonov 正则化方法,提出基于可识别性函数空间的非局部算子核学习的收敛估计器,成功地从实际数据中学习微观尺度上应用于非均质固体的应力波传播的均质化模型,并在健壮性,泛化性和准确性方面优于基线方法。
May, 2022
本文研究了在正定核框架下的监督学习问题,提出了基于随机矩阵列采样的核矩阵低秩近似方法,此方法可以在 sub-quadratic 的时间复杂度内有效解决核矩阵计算问题,同时保持预测性能不变。
Aug, 2012
通过将线性 k - 均值聚类应用于使用称为等级限制的 Nyström 近似构造的 {k/epsilon}(1+o (1)) 特征,本文分析了该范例应用于核 k - 均值聚类,并表明相对于不使用 Nyström 方法提供的保证,计算出的群集分配会满足相对于核 k-means 成本函数的 1+epsilon 逼近度。
Jun, 2017
本文首次提出一种核 Nystr"om 逼近算法,它在所有核矩阵中都具有可证明的准确性,且其运行时间与训练点数成线性关系,并利用快速递归采样方案,实现了基于支撑点的快速采样,相较于常用技术如均匀采样 Nystr"om 逼近和随机 Fourier 特征方法,找到更精确、低秩的核逼近方法的速度更快。
May, 2016
提出了一种矩阵值多核学习框架,可用于高维非线性多元回归问题,并使用广泛的 Mixed Norm Regularizers 支持字典的向量值再现核希尔伯特空间上的疏松度约束;通过该框架,高维因果推断任务可被自然地看作稀疏函数估计问题进行,从而引出了一类新的图形 Granger 因果分析技术的非线性扩展。
Aug, 2014
核方法在机器学习中是强大的工具。对于非欧几里德数据空间,我们提出了使用再生核 Krein 空间(RKKS)方法,该方法仅需要具有正分解的核函数。我们研究了核函数正分解的条件,并表明不需要访问该分解就能在 RKKS 中进行学习。因此,RKKS 方法具有理论基础,为非欧几里德数据的核学习提供了可行途径。
Oct, 2023