May, 2016

一种分层潜变量编码器 - 解码器模型生成对话

PDF
TL;DR提出一种基于神经网络的生成架构，通过潜在的随机变量来建模具有复杂依赖关系的分层结构顺序数据，将该模型应用于对话响应生成任务并与最近的神经网络架构进行比较，实验证明该模型可以提高生成长输出的准确性并维持上下文信息。
sequential datahierarchical structureneural network-based generative architecturedialogue response generationlatent stochastic variables
发现论文，激发创造
  • 一种变分对话建模的分层潜变结构

    通过使用层次潜在变量的结构和使用发言丢失正则化，我们提出一个名为 VHCR 的新模型，该模型成功地利用了潜在变量，并在会话生成方面优于现有技术。

    Apr, 2018

  • 对话生成中改进变分编码器 - 解码器

    本文通过将训练步骤分为两个阶段来解决 KL - 消失问题，采用多层感知器对高斯噪声进行变换来对潜在变量进行采样，从而实现更灵活的分布，实验结果表明，我们的模型在度量和人类评估方面都有大幅度提高。

    Feb, 2018

  • 文本生成的深度潜在变量模型

    使用深度潜变量模型进行文本生成可以提高标准编码器 - 解码器模型的效果，同时保持深度神经网络的表达能力。

    Mar, 2022

  • 一种用于时序数据的循环潜变量模型

    本文研究了将潜在随机变量引入到循环神经网络（RNN）的动态隐藏状态中，结合变分自编码器，通过高级潜在随机变量建立了变分循环神经网络（VRNN），可以很好地建模结构化序列数据，如自然语音。通过对四个语音数据集和一个手写数据集的实证评估，证明了潜在随机变量在 RNN 动态隐藏状态中的重要作用。

    Jun, 2015

  • 潜变量对话模型及其多样性

    该研究提出了一种对话生成模型，直接捕获了可能的多样性响应，从而减少了确定性对话模型的‘无聊输出’问题。实验表明，与基线模型相比，我们的模型生成更多样的输出，并且比从确定性编码器 - 解码器模型中进行抽样生成的输出更加一致接受。

    Feb, 2017

  • 战略对话的分层文本生成与规划

    本论文介绍了一种学习对话信息表征、提高决策效率的方法，通过解耦对话表述中的语义和语言实现，使用学习到的表征完成对话生成、规划和增强学习等任务，在实验中效果比之前的工作更佳。

    Dec, 2017

  • 一种用于语篇关系语言模型的潜变量循环神经网络

    本文提出了一种新颖的潜变量循环神经网络架构，用于同时建模词序列和相邻句子之间的（可能潜在的）言语关系。它通过循环神经网络生成单个单词，并可以使用潜在变量表示言语关系。该模型可以使用既包括言语关系分类又包括词预测的训练目标，从而优于最先进的替代方案，它可以用于隐含语篇关系分类以及对话行为分类。在测试时间通过潜在言语关系求和，我们获得了一个获得语篇的语言模型，从而改进了一个强大的 LSTM 基线。

    Mar, 2016

  • DialogVED：一个预训练的潜变量编码器解码器模型，用于对话响应生成

    本文提出了一个新的对话预训练框架 DialogVED，使用 Reddit 进行了预训练，并在 PersonaChat，DailyDialog 和 DSTC7-AVSD 数据集上进行了实验，结果表明我们的模型在所有这些数据集上实现了最新的最优结果，其中主要挑战是生成相关且多样化的响应。

    Apr, 2022

  • 使用较少的监督学习可解释的潜在对话动作

    本文介绍了一种用于解释任务对话建模的新型系统，基于离散潜变量表示对话行为。该模型基于变分循环神经网络，无需显式的语义信息。与以前的工作不同，我们的方法分别对系统和用户轮次进行建模，同时执行数据库查询建模，使得该模型适用于任务对话，同时生成易于解释的操作潜变量。我们展示了我们的模型在三个数据集上以较少的监督下在困惑度和 BLEU 方面优于以前的方法，并提出了一种衡量对话成功的新方法，无需专家注释。最后，我们提出了一种关于系统操作的潜变量语义的新方法来解释。

    Sep, 2022

  • 使用生成式分层神经网络模型搭建端到端对话系统

    使用生成模型在大型对话语料库上构建开放域对话系统的任务得到了研究，这里我们扩展了分层递归编码器 - 解码器神经网络到对话领域，并证明了该模型与最先进的神经语言模型和后退 n-gram 模型有竞争力，我们进一步探讨了该方法及类似方法的局限性，再展示了如何通过从更大的问答匹配语料库和预训练的词嵌入中引导学习以提高其性能。

    Jul, 2015