将原始表示和对偶表示相结合的深度受限核机分类器

Jun, 2023

将原始表示和对偶表示相结合的深度受限核机分类器

Combining Primal and Dual Representations in Deep Restricted Kernel Machines Classifiers

Francesco Tonin, Panagiotis Patrinos, Johan A. K. Suykens

TL;DR本研究提出了一种基于深度受限核机 (DRKM) 框架的新的分类方法，将 KPCA 和分类级别的目标结合起来，其中隐藏特征矩阵位于 Stiefel 流形上，分类级别可以是 LSSVM 或 MLP 特征映射，深 KPCA 级别可以嵌入数据的最具信息组件。在基准数据集上的实验表明，我们的深度方法优于 LSSVM/MLP，并且具有多个 KPCA 级别的模型可优于具有单个级别的模型。

Abstract

In contrast to deep networks, kernel methods cannot directly take advantage of depth. In this regard, the deep restricted kernel machine (DRKM) framework allows multiple levels of kernel pca (KPCA) and Least-Squa

deep restricted kernel machine kernel pca least-squares support vector machines classification stiefel manifold

发现论文，激发创造

多视角受限核机中的对偶性

本文提出一种统一的设置，将现有的有限制的核机器方法融合到一个单一的原始对偶多视角框架中，用于核主成分分析，无论是在监督还是无监督的情况下。作者从理论角度推导了框架的原始和对偶表示，并将不同的训练和推断算法互相关联。通过重新调整原始变量，作者展示了如何在原始和对偶公式中实现完全等价。最后，作者通过递归预测未见测试数据和可视化学习特征在许多时间序列数据集上验证了等价性，并提供了不同方法之间关系的洞察。

May, 2023

卷积深度核机器

深度核机器（DKMs）是一种最近引入的核方法，具有包括深度神经网络和深高斯过程在内的其他深度模型的灵活性。本文介绍了卷积 DKMs 以及一种高效的跨域引导点逼近方案，并且开发和实验评估了多种模型变体，包括针对卷积 DKMs 设计的 9 种不同类型的规范化方法、两种似然函数和两种不同类型的顶层。尽管训练时间只需要大约 28 个 GPU 小时，比完整的 NNGP/NTK/Myrtle 核函数快 1 到 2 个数量级，但结果模型在 MNIST 上达到约 99% 的测试准确率，在 CIFAR-10 上达到 92% 的准确率，在 CIFAR-100 上达到 71% 的准确率，同时实现了可比较的性能。

Sep, 2023

纵向深度核高斯过程回归

L-DKGPR 是一种从纵向数据中自动发现复杂的多层关联结构的方法，使用新颖的深度核学习技术，结合了深度神经网络的表达能力和非参数核方法的灵活性，通过引入变分推断的方式从潜变量先验中推理出后验。实验表明该方法较之前的 LDA 方法有明显的提高。

May, 2020

半监督深度核学习：通过最小化预测方差进行未标记数据回归

本论文提出一种半监督深度内核学习方法（SSDKL），该方法结合了神经网络的分层表示学习和高斯过程的概率建模能力，并利用未标记数据来提高真实世界回归任务的预测准确性。

May, 2018

动力系统的循环深度核学习

使用基于数据驱动的随机变分深度核学习以及递归版本，提出了一种构建 ROMs 的方法，能够对物理资产的复杂动态进行精确描述，并具备去噪、重建、学习紧凑表征系统状态、预测以及量化建模不确定性的能力。

May, 2024

通过支持测量机学习分布

本文提出了一种基于核的判别式学习框架，使用概率分布作为训练数据，通过将概率分布表示为再生核希尔伯特空间中的平均嵌入，可以应用许多标准的基于核的学习技术，构造了一种支持测量机，提出了一种灵活的支持向量机，实验结果表明所提出的框架有效。

Feb, 2012

自适应深度核学习

该研究基于深度神经网络学习参数化的内核算子，在 few-shot 回归任务中学习内核家族，从而使算法能够识别每个任务的适当内核，并通过实际应用于药物发现领域的 few-shot 回归任务与现有算法进行比较，表明其在复杂任务分布和状态下的性能优越。

May, 2019

一种稳定的多尺度核心用于拓扑机器学习

通过设计稳定表现拓扑特征的多尺度核，我们在理论上将拓扑数据分析与流行的基于核的学习技术建立了联系，并证明了该核对于 1-Wasserstein 距离的稳定性。在 3D 形状分类 / 检索和纹理识别的两个基准数据集上的实验证明，与基于持久景观的替代方法相比，所提出的方法具有相当的性能优势。

Dec, 2014

朝向适合 K 均值算法的空间：同时进行深度学习与聚类

本文提出了一种利用深度神经网络实现联合降维和 K-means 聚类的方法，通过学习非线性函数的深度神经网络，以期获得更好的聚类和降维效果。

Oct, 2016

深度神经网络中表示学习的理论提供了核方法的深度广义化

本文介绍了一种基于无限宽的贝叶斯表达学习界限的深层高斯过程方法以及基于这个界限的核方法的深度泛化技术。实验证实这种方法能够处理有限宽的高斯方法以及 NNs，这将有助于在大规模数据上应用这种方法。

Aug, 2021