本文介绍了一种基于循环神经网络的编码器 - 解码器结构,其中引入了一个基于 LSTM 的解码器来选择、聚合输入元素上产生的语义元素,并生成所需的话语,该提议的生成器可以联合训练句子规划和表面实现以生成自然语言句子,实验结果表明,所提出的生成器不仅在所有自然语言生成领域中一致优于先前的方法,而且还具有从新领域进行泛化和从多领域数据集中学习的能力。
Jun, 2017
本文提出了一种基于编码 - 汇聚 - 解码的深度学习模型,其中语义汇聚器是由 Aligner 和 Refiner 两个组件组成的注意力机制,用于选择和聚合语义元素,实现自然语言生成,实验证明该模型在四个不同的自然语言生成领域中性能均优于之前的方法。
本研究提出了一种基于语义控制 LSTM 结构的统计自然语言生成器,通过交叉熵训练标准优化句子规划和语言表现,可轻松实现语言变化,并通过两个不同测试域的客观评价和人工评分表明该方法相对于先前方法具有更好的性能和自然度。
Aug, 2015
本文提出了一种基于循环神经网络 (RNN) 的自然语言生成 (NLG) 新方法,其中在 RNN 计算之前应用了门控机制,以使得该模型能够生成适当的句子,并可通过共同训练句子规划和表面实现以生成自然语言响应。实验结果表明,该生成器在所有 NLG 领域中均表现出更好的性能。
本研究提出一个通过共享潜变量将自然语言理解和自然语言生成相结合的生成模型,可在平面和树形形式表示的两个对话数据集上达到最先进的性能,并展示了该模型可以利用未标记数据进行半监督学习以提高其性能。
Jun, 2020
本文提出基于联合循环卷积神经网络结构的统计语言生成器,可以在不需要语义对齐或预定义语法树的情况下,训练对话行为 - 话语对。客观指标表明,在相同的实验条件下,这种新模型优于以前的方法。人类评委的评估结果表明,它产生的不仅是高质量而且是语言上多变的话语,而且与 n-gram 和基于规则的系统相比受到更多的青睐。
本文提出了一种基于条件变分自编码器 (CVAE) 的 RNN 的跨领域自然语言生成方法,实现了高度多样性的句子生成,并在数据有限的情况下展现了更好的性能。
Dec, 2018
使用生成模型在大型对话语料库上构建开放域对话系统的任务得到了研究,这里我们扩展了分层递归编码器 - 解码器神经网络到对话领域,并证明了该模型与最先进的神经语言模型和后退 n-gram 模型有竞争力,我们进一步探讨了该方法及类似方法的局限性,再展示了如何通过从更大的问答匹配语料库和预训练的词嵌入中引导学习以提高其性能。
Jul, 2015
本研究提出了一种新的自然语言生成方法,使用循环神经网络进行任务导向对话的自然语言生成,它通过对齐词槽和相应值的方法,同时使用词汇化和非词汇化的组件,学习所有可用的数据,包括词槽价值对,从而生成更自然、语法更好的句子;通过迁移预训练的句子编码器中学到的权重,进一步提高了模型的性能,并获得人类评价良好的表现。
Jun, 2016
本论文提出并解决了通过两种文本生成范例 —— 统计机器翻译和深度学习,生成连贯故事的任务。使用两种 SMT 方法和一个深度 RNN 架构,将可变长度的输入描述编码为对应的潜在表示,并解码以生成形式完备的故事总结。在一个公开数据集上,利用常见的机器翻译和总结评估方法证明了所建议方法的有效性。
Jul, 2017