DSTC9 中的对话跟踪交互式评估
介绍了第九届 Dialog System Technology Challenge (DSTC-9),重点介绍使用端到端对话技术的四项任务,包括 1. 带有非结构化知识访问的任务导向型对话建模,2. 多领域任务导向型对话,3. 对话的交互式评估,以及 4. 位置交互式多模对话。讨论了每个任务的任务定义、基线和评估设置,总结了提交系统的结果,以突出该领域技术的最新趋势。
Nov, 2020
本论文介绍并参加了 DSTC9 互动式对话评估赛中的子任务一和子任务二,提出了预训练语言模型用于生成与特定话题相关的回复,并提出了回复集合方法,同时提出了用于捕获与人类互动中对话流程的对话策划模型,设计了一种集成的开放域对话系统,具有流畅,连贯,连贯和人类特征的响应,并在子任务一中获得了第一名的人类评分和最高的 Meteor 和 Bert 分数,在子任务二中排名第三。
Jan, 2021
本文介绍了第七届对话系统技术挑战赛(DSTC)的概况和研究成果,包括不同追踪和数据集的详细描述。该比赛聚焦于建立端到端的对话系统,并于句子选择、句子生成和音视频场景感知对话等方面展开研究。参赛者使用最先进的技术取得了显著的成果。
Jan, 2019
任务驱动的对话系统使用外部非结构化知识源来扩展任务领域 API 的覆盖范围,三个任务包括知识寻找、选择和响应生成,并用集成方法和大规模预训练语言模型取得了高性能。
Jan, 2021
介绍第八届对话系统技术挑战赛,重点关注多领域任务完成、响应选择、音频图像感知对话、架构引导对话状态跟踪任务,描述了每个任务的定义、提供的数据集和评估设置,总结了提交系统的结果,以突显当前技术发展的总体趋势。
Nov, 2019
本文总结了我们在第 9 和 10 个对话系统技术挑战赛(DSTC9 和 DSTC10)的文档驱动对话任务中的贡献,包括知识选择,数据增强,响应生成和评估指标等领域。
Apr, 2023
本文介绍了第 8 届对话系统技术挑战赛的 Schema-Guided 对话状态跟踪任务,其目标是开发适用于大型虚拟助手的对话状态跟踪模型,重点是跨域的数据高效联合建模和新 API 的零 - shot 推广。本任务提供了一个包含 16 个领域超过 16000 个对话的数据集,其中包括一个能够零 - shot 推广到新 API 的基线模型。本文介绍了任务定义、数据集和评估方法,并概述了提交系统的方法和结果,以突出现今最先进技术的总体趋势。
Feb, 2020
本文提出一个针对客户服务交互的自动感知意图的基准测试,探讨了虚拟助手、bot 架构设计、意图识别、客户服务交互和评估方法方面的研究成果,并在挑战中收到了来自 34 个团队的提交和结果。
Apr, 2023