AAAIApr, 2020

基于预训练和注意力机制的神经网络构建任务导向对话系统

PDF
TL;DR本文介绍了我们在 DSTC 8 中的参赛系统，探讨了使用预训练的注意力网络解决多轮对话系统问题的方法以及几种自适应方法来保留对话系统的固有属性。在 DSTC 8 的 Track 2 中发布的评估结果中，我们的模型在任务 1 中排名第四，在任务 2 中排名第三，在任务 3 和任务 4 中分别排名第一。
dialogue systempre-trained language modelsmulti-turnattention-based networkadaptation methods
发现论文，激发创造
  • 面向诺干式端到端应答选择的顺序注意力网络

    本文提出了一种基于序列匹配模型的多轮对话响应选择算法，相比之前的模型，该模型在提升多轮对话系统中的响应选择效果方面取得了更好的表现，并在两个大规模公开数据集上均获得了最优表现。

    Jan, 2019

  • DSTC6 中的端到端对话建模赛道

    本文提出基于人人对话数据的挑战赛以训练端到端对话模型，实现了端到端的对话任务，模拟了客户服务的各种情况。

    Jun, 2017

  • DSTC9 中基于任务的对话建模与非结构化知识访问跟踪的超越领域 API

    任务驱动的对话系统使用外部非结构化知识源来扩展任务领域 API 的覆盖范围，三个任务包括知识寻找、选择和响应生成，并用集成方法和大规模预训练语言模型取得了高性能。

    Jan, 2021

  • 以任务为导向的对话系统作为自然语言生成

    本文提出了一种基于大规模预训练模型（如 GPT-2）的任务驱动对话系统纯自然语言生成任务，以简化复杂的词语替换处理，但是直接使用会遇到对话实体不一致性和预训练模型精调时的灾难性遗忘问题，因此我们设计了一种新的 GPT-Adapter-CopyNet 网络，它将轻量级 adapter 和 CopyNet 模块融入 GPT-2，以实现更好的迁移学习和对话实体生成，而且实验结果表明，我们的方法在自动和人类评估方面的性能显著优于基线模型。

    Aug, 2021

  • DSTC9 的第九届对话系统技术挑战赛综述

    介绍了第九届 Dialog System Technology Challenge (DSTC-9)，重点介绍使用端到端对话技术的四项任务，包括 1. 带有非结构化知识访问的任务导向型对话建模，2. 多领域任务导向型对话，3. 对话的交互式评估，以及 4. 位置交互式多模对话。讨论了每个任务的任务定义、基线和评估设置，总结了提交系统的结果，以突出该领域技术的最新趋势。

    Nov, 2020

  • 一种具有信念跟踪的端到端可训练神经网络任务导向对话模型

    本文提出了一种新颖的端到端可训练的神经网络模型，用于处理任务导向的对话系统，该模型将对话状态、API 调用和结构化的知识库查询结果相结合，以成功完成任务导向的对话，并且能够以联合学习为基础，更好地处理对话历史，生成结构良好的系统响应。在餐厅搜索领域的实验结果表明，相比先前的端到端可训练的神经网络模型，我们提出的模型在适当的系统响应生成方面表现更为卓越。

    Aug, 2017

  • DSTC8 中的基于模式引导的对话状态跟踪任务

    本文介绍了第 8 届对话系统技术挑战赛的 Schema-Guided 对话状态跟踪任务，其目标是开发适用于大型虚拟助手的对话状态跟踪模型，重点是跨域的数据高效联合建模和新 API 的零 - shot 推广。本任务提供了一个包含 16 个领域超过 16000 个对话的数据集，其中包括一个能够零 - shot 推广到新 API 的基线模型。本文介绍了任务定义、数据集和评估方法，并概述了提交系统的方法和结果，以突出现今最先进技术的总体趋势。

    Feb, 2020

  • 基于文档支持的任务型对话系统：HLTPR@RWTH 在 DSTC9 和 DSTC10 上的研究

    本文总结了我们在第 9 和 10 个对话系统技术挑战赛（DSTC9 和 DSTC10）的文档驱动对话任务中的贡献，包括知识选择，数据增强，响应生成和评估指标等领域。

    Apr, 2023

  • MA-DST: 基于多注意力的可扩展对话状态跟踪

    本文提出了一种新的架构，利用多粒度的注意力机制来更稳健地编码对话历史和槽的语义，用于实现准确的跨域对话状态跟踪，并在 MultiWoZ 2.1 数据集上将联合目标准确率提高了 5%（绝对值），并在零 - shot 设置下比现有最先进技术提高至多 2%（绝对值）。

    Feb, 2020

  • 微信 AI 和 ICT 提交 DSTC9 交互对话评估赛道

    本论文介绍并参加了 DSTC9 互动式对话评估赛中的子任务一和子任务二，提出了预训练语言模型用于生成与特定话题相关的回复，并提出了回复集合方法，同时提出了用于捕获与人类互动中对话流程的对话策划模型，设计了一种集成的开放域对话系统，具有流畅，连贯，连贯和人类特征的响应，并在子任务一中获得了第一名的人类评分和最高的 Meteor 和 Bert 分数，在子任务二中排名第三。

    Jan, 2021