SIGIRAug, 2021

以任务为导向的对话系统作为自然语言生成

PDF
TL;DR本文提出了一种基于大规模预训练模型（如 GPT-2）的任务驱动对话系统纯自然语言生成任务，以简化复杂的词语替换处理，但是直接使用会遇到对话实体不一致性和预训练模型精调时的灾难性遗忘问题，因此我们设计了一种新的 GPT-Adapter-CopyNet 网络，它将轻量级 adapter 和 CopyNet 模块融入 GPT-2，以实现更好的迁移学习和对话实体生成，而且实验结果表明，我们的方法在自动和人类评估方面的性能显著优于基线模型。
发现论文，激发创造
  • 基于预训练语言模型的任务导向对话系统研究 —— 以 GPT-2 为例

    本研究探讨了数据稀缺对于多领域任务导向对话系统快速发展的限制，并提出了一种基于 TransferTransfo 和生成模型预训练的对话模型，并在 MultiWOZ 数据集上进行了验证，结果显示该模型可以有效地绕过显式策略和语言生成模块来实现对于任务的导向和推理。该方法有望缓解数据稀缺问题，进而支持构建更具吸引力和更流畅的任务导向的对话代理人。

    Jul, 2019

  • 基于网络的端到端可训练任务导向式对话系统

    本文介绍一种基于神经网络的端到端可训练的目标导向对话系统，以及一种新的数据收集方法，该方法基于一种新型的管道式 Wizard-of-Oz 框架。该方法可用于开发对话系统，帮助用户在餐厅搜索领域自然地交流并完成任务。

    Apr, 2016

  • 面向口语对话的任务导向对话建模的通用模型

    本文介绍了我们在 DSTC-10 上构建对话模型的方法。为缩小口头和书面数据之间的差距，我们采用了大量数据扩增策略，包括人工误差注入和文本转语音转换。我们改良了预训练语言模型，并对每个子任务应用了集成算法，以训练稳健的口头对话模型。我们的方法在官方评估中排名第三，在最终的正式人类评估中排名第二。

    Mar, 2022

  • 以语言模型为少样本学习者的任务导向式对话系统

    本文探讨自然语言理解、对话状态跟踪、对话策略和自然语言生成这四个模块在少数据样本下学习的挑战，并评估了使用自然语言生成模型进行少样本迁移学习的效果和局限性，为未来研究提供了启示。

    Aug, 2020

  • 知识感知图增强的 GPT-2 用于对话状态跟踪

    本文介绍了一种新的混合架构，将 GPT-2 与来自 Graph Attention Networks 的表示相结合，以实现逐步预测插槽值，并捕获跨域的插槽之间的关系和依赖关系，以提高多域会话跟踪的性能。该模型通过图模块捕获插槽之间的相互依赖性并提高了跨多个域常见的值的预测。

    Apr, 2021

  • 面向任务的端到端对话系统的任务优化适配器

    该研究提出了一种基于 Task-Optimized Adapters 和强化学习的 End-to-end TOD 系统，能够独立学习每个任务，并在 MultiWOZ 基准测试上表现出优越的性能，特别是在 2.2 数据集上的 DST 任务达到了最先进的水平。

    May, 2023

  • 对话领域适应的混合生成 - 检索 Transformer

    本文提出了基于 GPT-2 微调多领域 MetaLWOz 数据集的混合生成 - 检索模型，具有稳健、多样的响应生成能力，在领域自适应任务中取得了最优结果，并在适应未见过的 MultiWOZ 数据集时表现出竞争力的泛化性能。

    Mar, 2020

  • 面向任务的对话与上下文学习

    使用大型语言模型（LLMs）的上下文学习能力与业务逻辑的确定执行相结合，描述了一种构建面向任务的对话系统的系统。与主要用于行业的基于意图的 NLU 方法相比较，我们的实验表明，使用我们的系统开发聊天机器人所需的工作量明显较少，这些聊天机器人可以成功地进行复杂对话，并且我们的系统对于大规模任务导向的对话系统具有可扩展的有益特性。我们提供了我们的实现用于使用和进一步研究。

    Feb, 2024

  • 适应口语对话的基于文本的对话状态追踪器

    本文描述了我们在 DSTC11 中参与的具有极大成功的模型的工程努力，该模型由三个主要模块组成：(1) 自动语音识别误差校正，(2) 基于文本的对话系统用于估计插槽和值，(3) 后处理用于恢复估计的插槽值的错误。我们的实验证明了对于口语对话语料库，使用明确的自动语音识别误差校正模块、后处理和数据增强对于调整基于文本的对话状态跟踪器至关重要。

    Aug, 2023

  • 使用词汇化和非词汇化数据进行对话的自然语言生成

    本研究提出了一种新的自然语言生成方法，使用循环神经网络进行任务导向对话的自然语言生成，它通过对齐词槽和相应值的方法，同时使用词汇化和非词汇化的组件，学习所有可用的数据，包括词槽价值对，从而生成更自然、语法更好的句子；通过迁移预训练的句子编码器中学到的权重，进一步提高了模型的性能，并获得人类评价良好的表现。

    Jun, 2016