Oct, 2016

具有循环结构的可伸缩深度核学习

PDF
TL;DR提出了 GP-LSTM 模型，利用可闭合表达式内核，在保留高斯过程非参数概率优势的同时，完全包含了 LSTM 递归神经网络的归纳偏置，能够很好地用于处理序列数据，提升了自动驾驶等领域的预测准确性。
sequential datakernel functionsgaussian processeslong short-term memory (lstm)autonomous driving
发现论文，激发创造
  • 深度核学习

    介绍了可伸缩的深度核，将深度学习架构的结构属性与核方法的非参数灵活性相结合，通过局部核插值、引入点、Kronecker 和 Toeplitz 代数进行转换，使用这些闭式核可以用作标准核的替代品，在表达能力和可伸缩性方面具有优势，通常情况下，学习和推断代价为 $ O (n)$，而预测代价为每个测试点的 $O (1)$。

    Nov, 2015

  • 自然语言处理中的结构化核学习

    本文介绍使用高斯过程在结构核中进行模型选择的方法，并给出在树核上的实验结果，证明其比使用网格搜索的超参数优化方法具有更好的预测性能。

    Aug, 2015

  • 小数据学习的概率嵌入深度核方法

    通过使用概率神经网络学习概率嵌入深核，我们可以解决高维数据的表示学习和数据效率之间的问题， 实验结果表明，我们的方法在监督和半监督学习中均优于现有的高斯过程核方法，并且扩展到其他小数据范例，在 mini-Imagenet 和 CUB 数据集上胜过先前的方法。

    Oct, 2019

  • 使用带有标记协方差的高斯过程从顺序数据中进行贝叶斯学习

    使用贝叶斯方法和高斯过程，结合符号核、稀疏变分方法等技术对序列数据进行学习，可以使得不同长度的序列可比较且利用奇异分析的强大理论结果；我们还介绍了一种使用引导张量处理未能有利的序列结构方法，将该方法和 LSTMs、GRUs 等结合起来，以建立利用优势的大型模型，并在多元时间序列分类数据集上进行基准测试。

    Jun, 2019

  • 生长与精简的迷你，快速和准确的 LSTM

    本文提出一种 H-LSTM 模型，利用增长和修剪（GP）的方式通过梯度增长和基于大小的修剪来迭代调整隐藏层，从而使得模型在图像字幕和语音识别等应用中的表现更快、更精确、更紧凑。

    May, 2018

  • 基于图神经网络的高斯过程半监督学习核函数

    本文介绍了如何将图神经网络中的归纳偏置引入高斯过程中，以优化其在图结构数据上的预测表现，并得出了一些有趣的成员和提出了一种适用于大规模数据后验推断的协方差矩阵的近似方法，通过这些基于图的协方差矩阵，与相应的图神经网络相比，具有相似的分类和回归性能以及计算时间上的优势。

    Feb, 2023

  • 通过非线性复发系统表征深度高斯过程

    通过研究 Deep Gaussian Processes 对应的非线性动态系统，分析了其学习能力随层数增加而显著降低的问题，提供了紧密的界限和动态系统的收敛速度，并将此发现证明实验结果。

    Oct, 2020

  • 利用长短期记忆网络对高维混沌系统进行数据驱动的预测

    使用基于数据驱动的长短时记忆（LSTM）循环神经网络的预测方法，展示了该方法在高维混沌系统中的定量预测效果，并提出了一种新的具有混合结构的 LSTM 神经网络。与高斯过程相比，LSTM 在所有应用中都表现出更好的短期预测准确性，并且 MSM-LSTM 可以保证收敛到不变措施。

    Feb, 2018

  • 从序列和图内核中导出神经网络结构

    通过基于序列和图等组合结构的核来获得适当的神经操作，引入了一类深度循环神经操作并形式化表征其关联的核空间；在语言建模和分子图回归等标准应用程序上进行了实证评估，取得了这些应用程序的最新成果。

    May, 2017

  • 从贝叶斯稀疏到门控循环神经网络

    本文指出，关于促进稀疏性的更强大的贝叶斯算法具有类似于长短期记忆 (LSTM) 网络或先前设计用于序列预测的替代门控反馈网络的结构，从而导致了一种新的稀疏估计系统，当授予训练数据时，可以在其他算法失败的方案中高效地估计最优解，包括在实际方向 - 到达 (DOA) 和三维几何恢复问题中。

    Jun, 2017