Jun, 2016

使用词汇化和非词汇化数据进行对话的自然语言生成

PDF
TL;DR本研究提出了一种新的自然语言生成方法，使用循环神经网络进行任务导向对话的自然语言生成，它通过对齐词槽和相应值的方法，同时使用词汇化和非词汇化的组件，学习所有可用的数据，包括词槽价值对，从而生成更自然、语法更好的句子；通过迁移预训练的句子编码器中学到的权重，进一步提高了模型的性能，并获得人类评价良好的表现。
发现论文，激发创造
  • 使用 RNN 编码器 - 解码器网络进行口语对话系统的自然语言生成

    本文介绍了一种基于循环神经网络的编码器 - 解码器结构，其中引入了一个基于 LSTM 的解码器来选择、聚合输入元素上产生的语义元素，并生成所需的话语，该提议的生成器可以联合训练句子规划和表面实现以生成自然语言句子，实验结果表明，所提出的生成器不仅在所有自然语言生成领域中一致优于先前的方法，而且还具有从新领域进行泛化和从多领域数据集中学习的能力。

    Jun, 2017

  • 面向任务导向的语音对话系统生成编码解码模型带闲聊能力

    本论文提出了一个基于编码器 - 解码器模型的任务导向对话系统的实用且新颖的框架，使其能够完成与外部数据库的交互和独立决策，并将聊天功能与插槽填充系统交替使用，以提高领域外恢复的能力。在实验中，使用公交信息系统的真实用户数据和人际对话数据，所提出的框架表现优异，且离线评估指标和任务成功率与人类用户相当。

    Jun, 2017

  • 以任务为导向的对话系统作为自然语言生成

    本文提出了一种基于大规模预训练模型（如 GPT-2）的任务驱动对话系统纯自然语言生成任务，以简化复杂的词语替换处理，但是直接使用会遇到对话实体不一致性和预训练模型精调时的灾难性遗忘问题，因此我们设计了一种新的 GPT-Adapter-CopyNet 网络，它将轻量级 adapter 和 CopyNet 模块融入 GPT-2，以实现更好的迁移学习和对话实体生成，而且实验结果表明，我们的方法在自动和人类评估方面的性能显著优于基线模型。

    Aug, 2021

  • 通过语言模式的分层解码实现自然语言生成

    介绍了一种基于语言模式的分层解码自然语言生成模型，与传统的基于 RNN 和 seq2seq 的编码器 - 解码器模型相比，该模型表现更好且模型规模更小。

    Aug, 2018

  • 对话系统中低资源自然语言生成的双潜变量模型

    本文提出了一种基于变分神经网络的自然语言生成模型，用于解决受限标记数据集的自然语言生成问题，并通过引入变分推理和辅助自编码器与有效的训练程序来提高模型性能。实验表明，该模型不仅在有足够训练数据时优于以前的模型，而且在数据稀缺情况下也表现出良好的能力。

    Nov, 2018

  • 使用生成式分层神经网络模型搭建端到端对话系统

    使用生成模型在大型对话语料库上构建开放域对话系统的任务得到了研究，这里我们扩展了分层递归编码器 - 解码器神经网络到对话领域，并证明了该模型与最先进的神经语言模型和后退 n-gram 模型有竞争力，我们进一步探讨了该方法及类似方法的局限性，再展示了如何通过从更大的问答匹配语料库和预训练的词嵌入中引导学习以提高其性能。

    Jul, 2015

  • 基于槽位的多模态对话系统中响应生成的统一框架

    本文提出了一种多模态对话系统的端到端框架，利用预训练的 DialoGPT，并利用知识库（Kb）提供更强的上下文信息来从话语中提取所需的插槽值和生成一致的响应，使用多模态层次编码器，并设计槽注意机制来聚焦于给定话语中的必要信息，最终实验结果表明，该框架在两种任务中优于基线方法。

    May, 2023

  • 利用自动会话评估器实现连贯和引人入胜的口语对话响应生成

    本研究提出一个评估聊天机器人响应的系统，利用明确的反馈机制改进神经响应图生成模型，从而获得更具连续性和参与度的响应。

    Apr, 2019

  • 跨领域变分自然语言生成在口语对话系统中的应用

    本文提出了一种基于条件变分自编码器 (CVAE) 的 RNN 的跨领域自然语言生成方法，实现了高度多样性的句子生成，并在数据有限的情况下展现了更好的性能。

    Dec, 2018

  • 语言无关去词汇化泛化多语言概念生成自然语言

    本文研究了跨语言多领域自然语言生成的挑战，提出了一种新的基于预训练多语言嵌入的去词法化方法，并设计了字符级后编辑模型来确保词语在重构时的正确形式，结果表明该方法在低资源语言上具有非常好的效果。

    May, 2021