学习随机递归网络

ICLRNov, 2014

Learning Stochastic Recurrent Networks

Justin Bayer, Christian Osendorfer

TL;DR本文介绍一种基于变分推断的循环神经网络模型 ——Stochastic Recurrent Network（STORN），通过引入潜变量来提高循环神经网络的性能，实现了结构化和多模态条件下的建模。作者在四个多声部音乐数据集和运动捕捉数据上对该模型进行了评估。

Abstract

Leveraging advances in variational inference, we propose to enhance recurrent neural networks with latent variables, resulting in Stochastic Recurrent Networks (STORNs). The model i) can be trained with stochasti

variational inference recurrent neural networks latent variables stochastic recurrent networks polyphonic musical data

发现论文，激发创造

半隐式随机递归神经网络

本文提出一种基于半隐式变分推理的半隐式随机递归神经网络模型，该模型使用潜在的随机变量表示数据，具有更加灵活的表达能力，并在真实世界数据集中的不同任务中表现出优于现有方法的性能。

Oct, 2019

具有随机层的序列神经模型

本文介绍了一种新的神经网络模型 —— 随机循环神经网络，该模型能高效地传播潜在状态的不确定性来构建序列神经生成模型，并在语音和音乐建模方面取得了比同类方法更好的结果。

May, 2016

Z-Forcing: 训练随机循环网络

该论文提出一种基于随机循环模型的随机变量生成模型，通过反向递归神经网络实现变分推断优化，同时通过增加辅助成本来提高整体模型性能，并在多个数据集上进行实验表明该模型的效果优于以往算法。

Nov, 2017

高维时间序列在线异常检测的变分推断

使用随机循环网络（STORN）学习机器人时间序列数据中的概率模型，并展示了在线下和在线上都能够较为稳健地检测异常的结果。

Feb, 2016

从神经数据推断随机低秩循环神经网络

我们提出使用变分顺序蒙特卡洛方法拟合随机低秩递归神经网络，验证了该方法在多个数据集上的有效性，并展示了对具有分段线性非线性性质的低秩模型进行高效识别的方法，可为大型递归神经网络的推断动态分析提供可行性。

Jun, 2024

神经随机波动率模型

这篇论文展示了最近将统计模型与深度循环神经网络相结合提供了一种描述波动度（时间序列的变化程度）模型的新方法，其中包含了一对互补随机循环神经网络，应用在金融领域的时间序列分析和预测。在实现的过程中，作者着重处理了基于随机循环神经网络的波动度动态变化。实际基于股票价格数据的实验证明，这个模型的波动度预测比其他流行模型例如确定性模型 (GARCH)、基于 MCMC 的模型 (stochvol) 和高斯波动过程模型 (GPVol) 有更高的可靠性。

Nov, 2017

用于语言建模的可伸缩循环神经网络贝叶斯学习

本文提出了基于贝叶斯学习的算法，通过引入随机梯度 Markov Chain Monte Carlo 的思想对 RNN 模型进行权重不确定性学习，从而提高模型在各个任务上的表现。

Nov, 2016

STCN：随机时态卷积网络

本文提出了一种新的 STCN 体系结构，其将时间卷积网络（TCN）的计算优势与具有不同时间尺度的时间依赖性的随机潜在空间的表示能力和鲁棒性相结合，提高了多个任务的对数似然度，并且在手写文本建模中能够预测长时间跨度内的高质量合成样本。

Feb, 2019

适用于时间数据分析的经常性随机配置网络

开发适用于问题解决的随机配置网络的循环版本，无需对输入变量的动态顺序进行基本假设，并通过监督机制构建初始模型并通过投影算法在线更新输出权重，从而在时间数据建模技术方面取得了显着突破。

Jun, 2024

随机 WaveNet: 序列数据生成潜变量模型

本文提出了一种新的序列数据模型架构，称为随机 WaveNet，其中随机潜在变量被注入到 WaveNet 结构中，实现了强大的分布建模能力和并行训练的优势，同时在自然语音生成和高质量人类手写样本生成方面取得了最先进的表现。

Jun, 2018