非参数回归中基于组合核搜索的结构发现

Feb, 2013

非参数回归中基于组合核搜索的结构发现

Structure Discovery in Nonparametric Regression through Compositional Kernel Search

David Duvenaud, James Robert Lloyd, Roger Grosse, Joshua B. Tenenbaum, Zoubin Ghahramani

TL;DR本文提出一种通过组合基本核函数来寻找最优核函数的方法，使得拟合函数能够分解为易于理解的部分，从而实现对时间序列数据的长程外推，并在多种预测任务上表现出色。

Abstract

Despite its importance, choosing the structural form of the kernel in nonparametric regression remains a black art. We define a space of kernel structures which are built compositionally by adding and multiplying a small number of base kernels. We present a method for searching over th

nonparametric regression kernel structures scientific discovery interpretable components time-series datasets

发现论文，激发创造

自然语言处理中的结构化核学习

本文介绍使用高斯过程在结构核中进行模型选择的方法，并给出在树核上的实验结果，证明其比使用网格搜索的超参数优化方法具有更好的预测性能。

Aug, 2015

带收缩先验的组合稀疏高斯过程学习

本文提出了一种有效的方法：使用 Horseshoe 先验处理核函数的稀疏性来学习核组合，提供更好的匹配度和更短的计算时间。

Dec, 2020

基于贝叶斯优化和符号最优传输的结构核搜索

本文提出了一种通过定义与内核关联的统计假设的符号表示来定义内核 - 内核的方法，并在离散内核空间中搜索的新颖且高效的搜索方法。

Oct, 2022

深度核学习

介绍了可伸缩的深度核，将深度学习架构的结构属性与核方法的非参数灵活性相结合，通过局部核插值、引入点、Kronecker 和 Toeplitz 代数进行转换，使用这些闭式核可以用作标准核的替代品，在表达能力和可伸缩性方面具有优势，通常情况下，学习和推断代价为 $ O (n)$，而预测代价为每个测试点的 $O (1)$。

Nov, 2015

深度手绘输出内核回归用于结构化预测

我们提出了一种深度神经网络架构家族，其通过 kernel-induced losses 的数据依赖有限维子空间来预测结构化输出，利用梯度下降算法进行训练，并在合成任务和真实世界的监督图预测问题中展示了方法的相关性。

Jun, 2024

可扩展的非参数学习的分层组合核

本文提出了一个基于层次划分的新型核函数，可以减轻用于核方法的大规模非参数学习的计算复杂度并且在实验中提高了表现。

Aug, 2016

非参数学习非局部算子中的核函数

本文采用数据自适应 RKHS Tikhonov 正则化方法，提出基于可识别性函数空间的非局部算子核学习的收敛估计器，成功地从实际数据中学习微观尺度上应用于非均质固体的应力波传播的均质化模型，并在健壮性，泛化性和准确性方面优于基线方法。

May, 2022

利用复合性探索模型结构的广阔空间

通过生成上下文无关文法来组织矩阵分解模型以进行模型选择，使用小型可重用算法估计预测似然和推断潜在组件，通过贪心搜索自动选择分解结构。

Oct, 2012

高斯过程可微分复合核学习

本文介绍了神经核网络 (NKN) 的概念，它是一种可以逼近自适应统计学家所使用的复合核结构的灵活的内核族。在进行实验验证的过程中，证明了 NKN 具有发现和推断潜在结构的能力，并且可以用于进行时间序列和纹理外推以及贝叶斯优化任务。

Jun, 2018

面向结构化数据的潜变量模型判别嵌入

提出了一种名为 structure2vec 的基于嵌入潜在变量模型的结构化数据表征方法，利用判别性信息进行特征空间学习，在数百万数据点的应用中运行速度是传统方法的两倍，模型则小 $10,000$ 倍，同时达到了最先进的预测性能。

Mar, 2016