卷积深度核机器

Sep, 2023

Convolutional Deep Kernel Machines

Edward Milsom, Ben Anson, Laurence Aitchison

TL;DR深度核机器（DKMs）是一种最近引入的核方法，具有包括深度神经网络和深高斯过程在内的其他深度模型的灵活性。本文介绍了卷积 DKMs 以及一种高效的跨域引导点逼近方案，并且开发和实验评估了多种模型变体，包括针对卷积 DKMs 设计的 9 种不同类型的规范化方法、两种似然函数和两种不同类型的顶层。尽管训练时间只需要大约 28 个 GPU 小时，比完整的 NNGP/NTK/Myrtle 核函数快 1 到 2 个数量级，但结果模型在 MNIST 上达到约 99% 的测试准确率，在 CIFAR-10 上达到 92% 的准确率，在 CIFAR-100 上达到 71% 的准确率，同时实现了可比较的性能。

Abstract

deep kernel machines (DKMs) are a recently introduced kernel method with the flexibility of other deep models including deep NNs and deep Gaussian processes. DKMs work purely with kernels, never with features, and are therefore different from other methods ranging from NNs to deep kern

deep kernel machines convolutional dkms normalisation mnist cifar

发现论文，激发创造

卷积核深高斯过程

本论文针对深度高斯过程在计算机视觉领域应用时存在的挑战（例如卷积结构），提出了一种基于卷积核的卷积 DGP 模型（CDGP）来解决该问题，并在多类图像分类任务中表现出优越性能。

Jun, 2018

基于内核视角的深度卷积模型近似和学习

本研究通过核方法的角度对卷积核网络进行了研究，发现其 RKHS 由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

Feb, 2021

深度核学习的前景和风险

研究深核学习在处理真实数据时可能存在的过拟合问题及其原因，使用 UCI、CIFAR-10 和 UTKFace 三个数据集进行实验验证。发现过度最大边缘似然优化可能会导致严重的过拟合问题，并通过完全贝叶斯方法得到了更好的性能提升。

Feb, 2021

DKM: 可微分 K 均值聚类层用于神经网络压缩

该论文提出了一种基于不同 iable k-means 聚类层的 DNN 模型压缩方法，可以在保持模型架构和原损失函数不变的情况下，获得较高的压缩率和模型精度。实验证明，该方法在图像识别和自然语言处理任务上表现出较好的效果。

Aug, 2021

基于神经网络的回归的高效核替代模型

通过研究神经切线核在代替有限宽度深度神经网络中的性能表现，揭示了核的正则性是性能的关键决定因素，从而提出了一种廉价改进深度神经网络准确性的方法。这一理论框架不仅为使用共轭核代替神经切线核提供了理论基础，而且揭示了不同近似方法的稳健性，为提高深度神经网络的准确性提供了建议。

Oct, 2023

如何将核方法扩展到与深度神经网络一样好

通过基于随机投影导出的特征近似核函数，提出了有效地克服核方法计算复杂度的方法，并在图像识别和语音识别等大规模学习问题上成功地比较了核方法和深度神经网络的性能，同时克服了模型调节的困难。

Nov, 2014

使用深度内核整形快速训练深度神经网络，无需跳跃连接或标准化层

通过神经切线核理论和 Deep Kernel Shaping 方法，我们成功控制了深度神经网络的初始化时间内核函数的 “形状”，实现了无归一化层的残差网络的快速 SGD 训练，并同时提高了一些传统上性能非常差的激活函数的结果。

Oct, 2021

时空多模态协变深度核点过程的无集成训练

本研究提出了一种新颖的深空时点过程模型，它结合了多模态协变量信息，通过使用更灵活的深度核模型复杂事件与协变量数据之间的关系，提高了模型的表达能力。为了解决由于非可积深度核导致的 DKMPP 不可行的训练过程，我们采用了基于分数匹配的无积分方法，并通过采用可扩展的降噪分数匹配方法进一步提高了效率。我们的实验证明，DKMPP 及其相应的基于分数的估计器优于基准模型，展示了结合协变量信息、利用深度核以及采用基于分数的估计器的优势。

Oct, 2023

自适应深度核学习

该研究基于深度神经网络学习参数化的内核算子，在 few-shot 回归任务中学习内核家族，从而使算法能够识别每个任务的适当内核，并通过实际应用于药物发现领域的 few-shot 回归任务与现有算法进行比较，表明其在复杂任务分布和状态下的性能优越。

May, 2019

使用受监督的卷积核网络进行端到端核学习

本文提出了一种基于多层核机的图像表示方法，并通过监督学习来调整核的形态。该方法构建了一种新的卷积神经网络，在一些深度学习数据集上取得了良好的分类表现，表明了该方法在图像相关任务中的应用价值。

May, 2016