Jun, 2015

一种用于时序数据的循环潜变量模型

PDF
TL;DR本文研究了将潜在随机变量引入到循环神经网络（RNN）的动态隐藏状态中，结合变分自编码器，通过高级潜在随机变量建立了变分循环神经网络（VRNN），可以很好地建模结构化序列数据，如自然语音。通过对四个语音数据集和一个手写数据集的实证评估，证明了潜在随机变量在 RNN 动态隐藏状态中的重要作用。
发现论文，激发创造
  • 音乐作曲的循环潜变量模型再思考

    本文提出了使用卷积变分递归神经网络对音乐进行特征捕捉和创作新音乐序列的模型，通过编码器 - 解码器架构和概率连接捕获音乐的隐藏结构，并使用 Variable Markov Oracle 方法对不同神经网络类型的性能进行比较，结果表明所提出的模型具有更好的统计相似性和更好地保留了原始音乐的风格。

    Oct, 2018

  • 变分循环神经机器翻译

    本文提出了一种新颖的变分递归神经机器翻译（VRNMT）模型，该模型引入了一系列潜在随机变量以发挥生成效果，这些变量是通过变分自编码器获得的，并且在 NMT 解码器的隐藏状态中包含。使用神经后验近似器和重参数化技术，该模型在汉英和英德翻译任务上实验，取得显着的性能提升。

    Jan, 2018

  • 一种变分对话建模的分层潜变结构

    通过使用层次潜在变量的结构和使用发言丢失正则化，我们提出一个名为 VHCR 的新模型，该模型成功地利用了潜在变量，并在会话生成方面优于现有技术。

    Apr, 2018

  • 一种分层潜变量编码器 - 解码器模型生成对话

    提出一种基于神经网络的生成架构，通过潜在的随机变量来建模具有复杂依赖关系的分层结构顺序数据，将该模型应用于对话响应生成任务并与最近的神经网络架构进行比较，实验证明该模型可以提高生成长输出的准确性并维持上下文信息。

    May, 2016

  • 改进的条件性 VRNNs 用于视频预测

    本文提出了一种基于层次结构的潜变量模型来提高模型表达能力，减少模糊预测，用于视频序列的未来帧预测任务，经过实验证明本方法在不同数据集上优于现有的潜变量模型。

    Apr, 2019

  • Z-Forcing: 训练随机循环网络

    该论文提出一种基于随机循环模型的随机变量生成模型，通过反向递归神经网络实现变分推断优化，同时通过增加辅助成本来提高整体模型性能，并在多个数据集上进行实验表明该模型的效果优于以往算法。

    Nov, 2017

  • 基于循环潜变量网络的会话推荐

    该研究的目的在于解决在基于会话的推荐中数据稀疏性的影响。作者采用贝叶斯统计学中的概念进行改进，将网络循环单元作为具有先验分布的随机潜变量，推导出对应的后验分布，并利用该方法进行预测推荐。实验证明，该方法优于现有技术。

    Jun, 2017

  • 变分图循环神经网络

    本文提出一种新的层级变分 GRNN 模型，引入额外的潜在随机变量来联合建模动态图的隐藏状态。使用半隐式变分推理开发此新 VGRNN 架构（SI-VGRNN）并在多个真实世界的动态图数据集上进行实验，结果表明 SI-VGRNN 和 VGRNN 在动态链接预测中连续优于现有基线和最先进的方法。

    Aug, 2019

  • 一种用于语篇关系语言模型的潜变量循环神经网络

    本文提出了一种新颖的潜变量循环神经网络架构，用于同时建模词序列和相邻句子之间的（可能潜在的）言语关系。它通过循环神经网络生成单个单词，并可以使用潜在变量表示言语关系。该模型可以使用既包括言语关系分类又包括词预测的训练目标，从而优于最先进的替代方案，它可以用于隐含语篇关系分类以及对话行为分类。在测试时间通过潜在言语关系求和，我们获得了一个获得语篇的语言模型，从而改进了一个强大的 LSTM 基线。

    Mar, 2016

  • 变分循环自编码器

    该论文提出了一种模型 —— 变分循环自编码器（VRAE），结合了 RNN 和 SGVB 的优点，可用于针对大规模时间序列数据进行高效的无监督学习，将时间序列数据映射为潜在向量表示。该模型具有生成性，因此可以从潜空间的样本生成数据。此外，该模型能够利用无标记数据，通过初始化权重和网络状态，促进 RNN 的监督训练。

    Dec, 2014