基于可正分解核的几何学习

Oct, 2023

Geometric Learning with Positively Decomposable Kernels

Nathael Da Costa, Cyrus Mostajeran, Juan-Pablo Ortega, Salem Said

TL;DR核方法在机器学习中是强大的工具。对于非欧几里德数据空间，我们提出了使用再生核 Krein 空间（RKKS）方法，该方法仅需要具有正分解的核函数。我们研究了核函数正分解的条件，并表明不需要访问该分解就能在 RKKS 中进行学习。因此，RKKS 方法具有理论基础，为非欧几里德数据的核学习提供了可行途径。

Abstract

kernel methods are powerful tools in machine learning. Classical kernel methods are based on positive-definite kernels, which map data spaces into reproducing kernel Hilbert spaces (RKHS). For non-Euclidean data spaces, positive-definite kernels are difficult to come by. In this case,

kernel methods reproducing kernel krein space positive decomposition invariant kernels learning with kernels

发现论文，激发创造

机器学习中的核方法

本文回顾了利用正定核的机器学习方法，这些方法可以在函数空间构建学习和估计问题，包括二元分类器和结构化数据估计方法，并且这些方法适用于非线性函数和非矢量数据。

Jan, 2007

再生核 Krein 空间中的可扩展学习

本文首次提供了 Nyström 方法用于求解不定核的低秩矩阵逼近的数学完整证明，并提出了一种高效的方法来寻找这种核矩阵的近似特征分解，以此构建可在再现核 Krein 空间中学习的高度可扩展方法。这些方法提供了一种有原则的并且理论基础良好的方法来解决大规模关于不定核的学习问题。本文的主要动机来自于具有结构表示的问题（例如图形，字符串，时间序列），在这些问题上，根据直觉和 / 或领域专家的知识很容易设计出一对一的（不）相似度函数。这些函数通常不是正定形的，并且超出了实践者的专业知识范围。本文使用不定核构建在结构化和向量化数据表示中，通过经验证明了这些方法的有效性。

Sep, 2018

在带有正定函数的再生核 Banach 空间中求解支持向量机

本文提出了使用再生核 Banach 空间（RKBS）代替传统的再生核 Hilbert 空间（RKHS）来解决支持向量机问题，并介绍了傅里叶变换技术来在广义本地空间中引入再生性质，得到了一个具有特定再生核的再生核 Banach 空间，重述了支持向量机的优化问题和解，并举例说明了 Matérn 函数在此问题中的应用。

Sep, 2012

使用分层多核学习探索大型特征空间

使用正定核函数和稀疏奖励惩罚来实现高维特征空间中的多核学习，从而在非线性变量选择中取得卓越的预测性能。

Sep, 2008

测地指数核：当曲率与线性冲突时

本文探讨了一般测地度量空间中的内核方法，并提供了正面和负面的结果。结论是：高斯内核只能在测地度量空间中推广为正定内核，如果该空间是平坦的，这意味着任何在曲面上设计测地高斯内核的尝试都是徒劳的。然而，本文证明：对于具有有条件负定距离的空间，可以推广测地拉普拉斯内核并保持正定性。这意味着可以将测地拉普拉斯内核推广至一些曲面上。

Nov, 2014

使用分离核学习集合

研究如何通过随机样品学习一组数据，通过再生核希尔伯特空间理论中的概念分析数据集的几何和拓扑属性，并证明了分离核的重要性，从而推导出一系列稳定性良好的正则化学习算法，此方法比其他现有技术更具竞争力。

Apr, 2012

基于核方法的对称正定矩阵稀疏编码和字典学习

该论文提出使用 Riemann 流形进行稀疏编码和字典学习以帮助计算机视觉问题，通过嵌入再生核赫尔伯特空间来解决稀疏编码问题，并进一步提出一种学习 Riemann 字典的算法，实验结果表明其比现有的算法更为准确。

Apr, 2013

近似比集中更有效？平滑径向核推理的近似观点

探讨了正定核及其相关重现核希尔伯特空间的逼近性质，包括核算子和矩阵的特征值衰减、特征函数 / 特征向量的性质、核空间中函数的 “傅里叶” 系数以及核的拟合能力等，并给出了限制在离散数据点上的重现核希尔伯特空间球体的胖打散维度的明确界限，讨论了正定核的容量限制及其对梯度下降等算法的影响。

Jan, 2018

广义 Mercer 核和再生核 Banach 空间

本文研究重现核巴拿赫空间的建构，提出广义 Mercer 核来构建 p - 范数的 RKBS，导出支持向量机在 p - 范数的 RKBS 中的等效有限维最优化解，并说明某些特殊情况下的支持向量机等价于经典稀疏回归问题，为后续研究稀疏学习方法提供基础支持。

Dec, 2014

对称正定流形上的核稀疏子空间聚类

通过使用 Log-Euclidean 核，将 SPD 矩阵嵌入到重现核希尔伯特空间中，构建了在 SPD 流形上的核稀疏子空间聚类方法，即 KSSCR。通过利用数据内在的 Riemann 几何来发现潜在的子空间结构。实验证明，该方法比现有方法具有更好的聚类效果。

Jan, 2016