通过LLM支持的用户代理模拟增强对话状态跟踪模型
本文介绍了第8届对话系统技术挑战赛的Schema-Guided对话状态跟踪任务,其目标是开发适用于大型虚拟助手的对话状态跟踪模型,重点是跨域的数据高效联合建模和新API的零-shot推广。本任务提供了一个包含16个领域超过16000个对话的数据集,其中包括一个能够零-shot推广到新API的基线模型。本文介绍了任务定义、数据集和评估方法,并概述了提交系统的方法和结果,以突出现今最先进技术的总体趋势。
Feb, 2020
本文提出了一种基于非自回归框架的对话状态跟踪方法(NADST),能够考虑域和槽之间的潜在依赖关系,优化对话状态预测的完整集合。该方法的非自回归性质不仅可以并行进行解码,大大降低了实时对话响应生成的延迟,而且可以在令牌级别检测槽之间的依赖关系。在MultiWOZ 2.1语料库上,我们的模型在所有领域上的联合精度达到了最先进水平,并且我们的模型的延迟比以前的最新技术低一个数量级,尤其当对话历史随时间推移时。
Feb, 2020
本研究针对任务导向对话系统中对话状态跟踪方法的错误传播问题,提出了一种新的、可编辑生成的对话状态跟踪方法(AG-DST),其中包含两次生成过程,通过额外的修订生成过程来修正原始对话状态中存在的错误。实验表明,AG-DST方法显著优于现有方法,在MultiWOZ 2.2和WOZ 2.0数据集上均取得了最新的性能。
Oct, 2021
本文提出了 Dialogue State Tracking with Entity Adaptive Pre-training (DSTEA) 方法,其通过选择性知识掩蔽使模型更好地训练,从而在 MultiWOZ 2.0, 2.1, and 2.2 数据集上达到了更好的性能,并通过各种比较实验验证了其有效性。
Jul, 2022
对话状态跟踪是对话系统中的重要环节,虽然神经方法实现了显著的进展,但对话系统的一些关键方面,如可拓展性等仍未得到充分探索,本文提出了未来研究的几个方向。
Jul, 2022
介绍了一项新的对话状态跟踪任务(DST-USERS),其目标是从用户之间的对话中推断和记录事件安排。研究结果表明,通过采用知识融合学习方法来结合地名词典特征和说话者信息,可以显著提高模型的性能。
Jan, 2023
我们使用 ChatGPT ,一个通用语言模型,展示了它在零-shot DST 上达到的最先进的表现,并证明了通用模型在专业系统替代方面的能力受到其属性的限制,但我们认为通用模型的语境学习能力很可能成为支持专门的动态对话状态跟踪器开发的有力工具。
Jun, 2023
对ChatGPT在对话状态跟踪(DST)任务中的能力进行了初步评估,发现其表现出色。为了解决ChatGPT的局限性,提出了基于小型开源模型的LLM驱动的DST框架LDST,通过领域-槽位指令调优方法,LDST在零样本和少样本设置下相较于之前的SOTA方法取得了显著的性能提升。提供源代码以保证可复现性。
Oct, 2023
通过函数调用,我们提出了一种改进零样本对话状态跟踪的方法,以提高大型语言模型的任务导向对话的效果,并实现了与当前最先进模型的性能相媲美。
Feb, 2024
通过增加使用合成数据生成技术来提高零-shot对话状态追踪(DST)准确性的多样性的训练数据,本研究证明了可实现的巨大收益。该研究通过使用一种新颖的全自动数据生成方法来创建合成的零-shot DST训练资源,克服了当前DST训练资源在应用领域和槽类型方面的严重限制,该方法生成全新的应用领域以及具备银标注和槽描述的对话。该方法用于创建D0T数据集以训练零-shot DST模型,该数据集涵盖了1000多个领域。在MultiWOZ基准测试中进行的实验表明,使用多样化合成数据训练模型可以改善+6.7%的联合目标准确率,达到与更大模型相竞争的结果。
May, 2024