NIPSMay, 2016

具有随机层的序列神经模型

PDF
TL;DR本文介绍了一种新的神经网络模型 —— 随机循环神经网络，该模型能高效地传播潜在状态的不确定性来构建序列神经生成模型，并在语音和音乐建模方面取得了比同类方法更好的结果。
stochastic recurrent neural networkslatent state representationsequential neural generative modelvariational inference networkspeech and music modeling
发现论文，激发创造
  • 用于语言建模的可伸缩循环神经网络贝叶斯学习

    本文提出了基于贝叶斯学习的算法，通过引入随机梯度 Markov Chain Monte Carlo 的思想对 RNN 模型进行权重不确定性学习，从而提高模型在各个任务上的表现。

    Nov, 2016

  • 学习随机递归网络

    本文介绍一种基于变分推断的循环神经网络模型 ——Stochastic Recurrent Network（STORN），通过引入潜变量来提高循环神经网络的性能，实现了结构化和多模态条件下的建模。作者在四个多声部音乐数据集和运动捕捉数据上对该模型进行了评估。

    Nov, 2014

  • 随机 WaveNet: 序列数据生成潜变量模型

    本文提出了一种新的序列数据模型架构，称为随机 WaveNet，其中随机潜在变量被注入到 WaveNet 结构中，实现了强大的分布建模能力和并行训练的优势，同时在自然语音生成和高质量人类手写样本生成方面取得了最先进的表现。

    Jun, 2018

  • 非线性状态空间模型的结构化推理网络

    本研究提出了一种统一算法，以高效学习一类广泛的线性和非线性状态空间模型为主，包括由深度神经网络建模的发射和转移分布，使用结构化变分逼近参数化的循环神经网络来模拟后验分布，同时学习编译的推理网络和生成模型。通过应用于合成和真实数据集，本算法展现了其可扩展性和通用性，并发现使用结构化的后验近似会导致具有显著更高留存的可能性的模型。

    Sep, 2016

  • 概率循环状态空间模型

    本篇论文提出了一种基于双重随机变分推断和高斯过程的可扩展训练算法，用于可靠地训练完全概率状态空间模型中的潜在状态时间相关性， 并在真实世界基准数据集集上评估了所提出的 PR-SSM 的效果与最先进的概率模型学习方法进行了比较

    Jan, 2018

  • Z-Forcing: 训练随机循环网络

    该论文提出一种基于随机循环模型的随机变量生成模型，通过反向递归神经网络实现变分推断优化，同时通过增加辅助成本来提高整体模型性能，并在多个数据集上进行实验表明该模型的效果优于以往算法。

    Nov, 2017

  • 神经随机波动率模型

    这篇论文展示了最近将统计模型与深度循环神经网络相结合提供了一种描述波动度（时间序列的变化程度）模型的新方法，其中包含了一对互补随机循环神经网络，应用在金融领域的时间序列分析和预测。在实现的过程中，作者着重处理了基于随机循环神经网络的波动度动态变化。实际基于股票价格数据的实验证明，这个模型的波动度预测比其他流行模型例如确定性模型 (GARCH)、基于 MCMC 的模型 (stochvol) 和高斯波动过程模型 (GPVol) 有更高的可靠性。

    Nov, 2017

  • 将循环、卷积、连续时间模型与线性状态空间层相结合

    本研究将控制系统应用于序列建模，提出了简单的序列模型 LSSL，并通过引入连续时间记忆的结构矩阵来提高模型性能，使用 LSSL 优于其他深度学习模型并在时间序列等领域取得了优秀成果。

    Oct, 2021

  • 从神经数据推断随机低秩循环神经网络

    我们提出使用变分顺序蒙特卡洛方法拟合随机低秩递归神经网络，验证了该方法在多个数据集上的有效性，并展示了对具有分段线性非线性性质的低秩模型进行高效识别的方法，可为大型递归神经网络的推断动态分析提供可行性。

    Jun, 2024

  • 从确定性到生成性：用多模态随机循环神经网络实现视频字幕生成

    本文提出了一种基于多模态随机递归神经网络（MS-RNN）的生成式视频字幕方法，利用基于拉丁超立方采样（LHS）的随机采样方法解决给定视频的不确定性问题，支持不同的句子生成，实验结果显示该方法优于现有技术，并提高了视频字幕的性能。

    Aug, 2017