EMNLPSep, 2021

清晰思考，快速交谈：面向开放域对话系统的概念引导非自回归生成

PDF
TL;DR设计一个基于概念引导的非自回归模型，为了更好地管理概念转换并能够顺序解码引入多个概念，实现可控和连贯的对话生成，实验表明该模型在速度和质量上都优于现有最先进的模型。
dialogue modelsseq2seq frameworkconcept transitionsmultiple associated conceptsnon-autoregressive model
发现论文，激发创造
  • 神经机器翻译及其扩展中的非自回归生成调查

    本文对不自回归生成（NAR）进行了系统的调查，并比较和讨论了不同方面的各种非自回归翻译（NAT）模型，包括数据处理、建模方法、训练标准、解码算法以及受到预训练模型的好处，同时简要回顾了 NAR 模型在机器翻译以外的其他应用，并讨论了未来探索的潜在方向。

    Apr, 2022

  • 非自回归模型的序列生成研究

    该研究通过提出一种分析模型来表征 Non-autoregressive 模型生成不同序列任务的难易程度，并发现知识蒸馏和源 - 目标对齐技术可以帮助提升 Non-autoregressive 模型的准确性，减少目标序列的依赖性。

    Apr, 2020

  • 预训练语言模型的非自回归式文本生成

    本文提出了一种基于 BERT 的非自回归文本生成模型，通过引入新的解码策略（ratio-first）以及机制来解决 NAG 模型中的两个问题，并在三个文本生成任务上进行全面评估，证明该模型在速度和性能上均优于现有的非自回归基线模型，在许多强自回归模型上也取得了有竞争力的性能.

    Feb, 2021

  • 跨领域变分自然语言生成在口语对话系统中的应用

    本文提出了一种基于条件变分自编码器 (CVAE) 的 RNN 的跨领域自然语言生成方法，实现了高度多样性的句子生成，并在数据有限的情况下展现了更好的性能。

    Dec, 2018

  • 一种非自回归生成框架用于端到端同步任意语音翻译

    我们提出了一种新颖的非自回归生成框架用于同时语音翻译 (NAST-S2X)，它将语音到文本和语音到语音任务整合到统一的端到端框架中。实验结果表明，NAST-S2X 在语音到文本和语音到语音任务中优于现有模型，在不到 3 秒的延迟内实现了高质量的同时口译，并在离线生成中提供了 28 倍的解码加速。

    Jun, 2024

  • 非自回归对话状态跟踪

    本文提出了一种基于非自回归框架的对话状态跟踪方法 (NADST)，能够考虑域和槽之间的潜在依赖关系，优化对话状态预测的完整集合。该方法的非自回归性质不仅可以并行进行解码，大大降低了实时对话响应生成的延迟，而且可以在令牌级别检测槽之间的依赖关系。在 MultiWOZ 2.1 语料库上，我们的模型在所有领域上的联合精度达到了最先进水平，并且我们的模型的延迟比以前的最新技术低一个数量级，尤其当对话历史随时间推移时。

    Feb, 2020

  • 一种可控的基于 grounded 的回复生成模型

    该论文提出了一种名为可控接地响应生成（CGRG）的框架，利用词汇控制短语来提高语义控制能力，有效避免了事实准确性和信息量之间的矛盾并超越强大的生成基准线。

    May, 2020

  • 关键词引导的神经对话模型

    本文提出了一种基于常识的关键词导向神经对话模型，通过外部常识知识图谱实现关键词的转移和响应检索，实现对话更快地到达目标关键词，自我对话和人类评估表明我们的模型产生的响应关键词转移更平稳，比竞争基线更快地到达目标关键词。

    Dec, 2020

  • 基于循环神经网络与卷积句子重排的对话随机语言生成

    本文提出基于联合循环卷积神经网络结构的统计语言生成器，可以在不需要语义对齐或预定义语法树的情况下，训练对话行为 - 话语对。客观指标表明，在相同的实验条件下，这种新模型优于以前的方法。人类评委的评估结果表明，它产生的不仅是高质量而且是语言上多变的话语，而且与 n-gram 和基于规则的系统相比受到更多的青睐。

    Aug, 2015

  • 通过建模远期来提升对抗文本生成

    我们考虑一个文本规划方案，提出了一种基于模型的模仿学习方法，其中包括新颖的指导网络来关注更长时间内的生成过程，改善了局部流畅性和一致语义的问题，并带来了性能上的提升。

    May, 2020