Nov, 2015

深度核学习

PDF
TL;DR介绍了可伸缩的深度核，将深度学习架构的结构属性与核方法的非参数灵活性相结合，通过局部核插值、引入点、Kronecker 和 Toeplitz 代数进行转换，使用这些闭式核可以用作标准核的替代品，在表达能力和可伸缩性方面具有优势，通常情况下，学习和推断代价为 $ O (n)$，而预测代价为每个测试点的 $O (1)$。
scalable deep kernelsnon-parametric flexibilityspectral mixture base kernelexpressive powergaussian process
发现论文，激发创造
  • 随机变分深层核学习

    本研究提出一种新的深度内核学习方法和随机变分推断程序，利用加性基础内核方法将子集的输出特征整合入深度神经网络以提高分类性能，并比较了该方法与深度神经网络、SVM 和基于高斯过程的方法在多个分类基准测试中的性能。

    Nov, 2016

  • 来自数据的核学习到深渊的核流

    通过基于先前指定的内核，采用数值逼近方法进行核函数选择 / 构造，从而探索构造非参数深度内核的解决方案，通过减半插值点的数量（使用与内核相关联的本征 RKHS 范数进行度量）而不会显着损失精度的简单前提来进行核函数选择。

    Aug, 2018

  • 自适应深度核学习

    该研究基于深度神经网络学习参数化的内核算子，在 few-shot 回归任务中学习内核家族，从而使算法能够识别每个任务的适当内核，并通过实际应用于药物发现领域的 few-shot 回归任务与现有算法进行比较，表明其在复杂任务分布和状态下的性能优越。

    May, 2019

  • 小数据学习的概率嵌入深度核方法

    通过使用概率神经网络学习概率嵌入深核，我们可以解决高维数据的表示学习和数据效率之间的问题， 实验结果表明，我们的方法在监督和半监督学习中均优于现有的高斯过程核方法，并且扩展到其他小数据范例，在 mini-Imagenet 和 CUB 数据集上胜过先前的方法。

    Oct, 2019

  • 如何将核方法扩展到与深度神经网络一样好

    通过基于随机投影导出的特征近似核函数，提出了有效地克服核方法计算复杂度的方法，并在图像识别和语音识别等大规模学习问题上成功地比较了核方法和深度神经网络的性能，同时克服了模型调节的困难。

    Nov, 2014

  • 自动化谱核学习

    本文提出了一种基于非平稳谱核并能从数据中灵活学习谱度量的强大高效谱核学习框架，还导出了一个基于 Rademacher 复杂度的数据相关推广误差界，并提出两个正则化项以提高性能。实验结果表明该算法的有效性并验证了作者的理论结果。

    Sep, 2019

  • 具有循环结构的可伸缩深度核学习

    提出了 GP-LSTM 模型，利用可闭合表达式内核，在保留高斯过程非参数概率优势的同时，完全包含了 LSTM 递归神经网络的归纳偏置，能够很好地用于处理序列数据，提升了自动驾驶等领域的预测准确性。

    Oct, 2016

  • 可扩展的非参数学习的分层组合核

    本文提出了一个基于层次划分的新型核函数，可以减轻用于核方法的大规模非参数学习的计算复杂度并且在实验中提高了表现。

    Aug, 2016

  • 深度手绘输出内核回归用于结构化预测

    我们提出了一种深度神经网络架构家族，其通过 kernel-induced losses 的数据依赖有限维子空间来预测结构化输出，利用梯度下降算法进行训练，并在合成任务和真实世界的监督图预测问题中展示了方法的相关性。

    Jun, 2024

  • A la Carte - 学习快速内核

    通过 Fastfood 基函数扩展导出的一系列快速、灵活、轻度参数化和通用的核学习方法可以学习广泛类别的核，显示出比现有方法更高的准确度、速度和内存消耗。

    Dec, 2014