May, 2019

自适应深度核学习

PDF
TL;DR该研究基于深度神经网络学习参数化的内核算子，在 few-shot 回归任务中学习内核家族，从而使算法能够识别每个任务的适当内核，并通过实际应用于药物发现领域的 few-shot 回归任务与现有算法进行比较，表明其在复杂任务分布和状态下的性能优越。
deep kernel learningkernel operatorfew-shot regression tasksneural networkstate-of-the-art algorithms
发现论文，激发创造
  • 深度核学习

    介绍了可伸缩的深度核，将深度学习架构的结构属性与核方法的非参数灵活性相结合，通过局部核插值、引入点、Kronecker 和 Toeplitz 代数进行转换，使用这些闭式核可以用作标准核的替代品，在表达能力和可伸缩性方面具有优势，通常情况下，学习和推断代价为 $ O (n)$，而预测代价为每个测试点的 $O (1)$。

    Nov, 2015

  • 通过深度核进行少样本元学习的贝叶斯方法

    使用深度核函数的贝叶斯元学习方法（DKT）可应用于小数据集问题，提供了多种优势，实验结果优于多种现有算法，并可将复杂的元学习程序替换为简单的贝叶斯模型。

    Oct, 2019

  • 为少样本学习设计的实例和任务感知动态核学习

    本论文提出了一种动态卷积神经网络模型，能够通过每个任务的动态内核快速适应于给定任务的情境，并以整体和每个样本的基础上依独立地进一步调整每个通道和位置的注意力机制，从而能够同时关注全局信息和细微的特征并提高 Few-Shot Learning 的性能。在四个 Few-Shot 分类基准: mini-ImageNet、tiered-ImageNet、CUB 以及 FC100 中，以及一个 Few-Shot 检测数据集: MS COCO-PASCAL-VOC 中，得到了比基准模型更显著的成绩。

    Dec, 2021

  • 随机变分深层核学习

    本研究提出一种新的深度内核学习方法和随机变分推断程序，利用加性基础内核方法将子集的输出特征整合入深度神经网络以提高分类性能，并比较了该方法与深度神经网络、SVM 和基于高斯过程的方法在多个分类基准测试中的性能。

    Nov, 2016

  • 梯度下降学习的每个模型都近似一个核机器

    我们展示了标准梯度下降算法训练的深度网络在数学上与核机器学习方法相当，这极大地增强了深度网络权重的解释性，从而导致更好的学习算法。

    Nov, 2020

  • 基于内核视角的深度卷积模型近似和学习

    本研究通过核方法的角度对卷积核网络进行了研究，发现其 RKHS 由补丁之间的交互项的加性模型组成，其范数通过汇聚层促进这些项之间的空间相似性，并提供了泛化界，以说明池化和补丁如何提高样本复杂度保证。

    Feb, 2021

  • 深度手绘输出内核回归用于结构化预测

    我们提出了一种深度神经网络架构家族，其通过 kernel-induced losses 的数据依赖有限维子空间来预测结构化输出，利用梯度下降算法进行训练，并在合成任务和真实世界的监督图预测问题中展示了方法的相关性。

    Jun, 2024

  • 如何将核方法扩展到与深度神经网络一样好

    通过基于随机投影导出的特征近似核函数，提出了有效地克服核方法计算复杂度的方法，并在图像识别和语音识别等大规模学习问题上成功地比较了核方法和深度神经网络的性能，同时克服了模型调节的困难。

    Nov, 2014

  • 深度内核学习在控制合成中的潜力

    本研究提出了一种基于 Deep Kernel Learning 的框架，用于对具有复杂规范的随机动态系统进行控制合成，采用时态逻辑规范，并使用 Deep Kernel Learning 从数据中学习未知系统，并将其正式抽象为 Interval Markov Decision Process 进行带有正确性保证的控制合成。通过对包括一种 5 维非线性随机系统在内的各种基准测试的验证，证明了该方法的有效性，并展示了与最先进的竞争方法相比，使用 Deep Kernel Learning 进行控制合成的显著优势。

    Sep, 2023

  • 来自数据的核学习到深渊的核流

    通过基于先前指定的内核，采用数值逼近方法进行核函数选择 / 构造，从而探索构造非参数深度内核的解决方案，通过减半插值点的数量（使用与内核相关联的本征 RKHS 范数进行度量）而不会显着损失精度的简单前提来进行核函数选择。

    Aug, 2018