一种零-shot开放词汇对话理解管道
本文介绍了一种基于深度学习的可伸缩的多领域对话状态跟踪方法,通过引入一个新的状态跟踪框架,该框架独立于具体的槽值集合,并将对话状态表示为候选值集合的分布,此方法能够快速适应新领域,提高跨领域和可扩展性。
Dec, 2017
StateNet是一种通用的对话状态跟踪器,它独立于值的数量,共享所有插槽的参数,并使用预训练的词向量而不是明确的语义字典来解决当前方法在大型对话域上难以扩展的挑战,并且在两个数据集上的实验显示,我们的方法不仅克服了这些限制,而且还显著优于最先进的方法的性能。
Oct, 2018
通过使用分层编解码结构直接生成信念状态序列的方法,我们提出了一种不需要预定义本体列表的对话状态跟踪方法,并在多域和单域对话状态跟踪数据集上进行了实验,取得了最先进的性能。
Sep, 2019
本文提出了一种新的架构,利用多粒度的注意力机制来更稳健地编码对话历史和槽的语义,用于实现准确的跨域对话状态跟踪,并在MultiWoZ 2.1数据集上将联合目标准确率提高了5%(绝对值),并在零-shot设置下比现有最先进技术提高至多2%(绝对值)。
Feb, 2020
本文提出了一种领域无关的抽取式问答方法用于对话状态跟踪,通过训练一个分类器来预测多个领域的出现情况,将复杂的领域信息进行分离并在活动领域提取跨域问题答案,在多个数据集上达成了优秀的零-shot转移模型表现。
Apr, 2022
本研究提出 CoFunDST,使用域不可知的 QA 数据集培训,通过 T5 预训练语言模型基于候选选项直接生成零样本对话状态。与现有的零样本 DST 方法相比,在 MultiWOZ 2.1 的大多数领域中,我们的模型具有更好的联合目标准确性。
Feb, 2023
我们使用 ChatGPT ,一个通用语言模型,展示了它在零-shot DST 上达到的最先进的表现,并证明了通用模型在专业系统替代方面的能力受到其属性的限制,但我们认为通用模型的语境学习能力很可能成为支持专门的动态对话状态跟踪器开发的有力工具。
Jun, 2023
我们将零样本对话状态跟踪转化为少样本对话状态跟踪,通过联合和自我训练方法利用目标域中的无标签数据。该方法通过辅助任务生成槽类型作为主要任务的逆提示,在联合训练期间创建槽值。这两个任务之间的循环一致性使得能够生成和选择未知目标域中的高质量样本,以进行后续的微调。此方法还有助于自动标签创建,从而优化对话状态跟踪模型的训练和微调。我们在零样本场景中的大型语言模型上展示了该方法的有效性,在MultiWOZ的所有领域中,平均联合目标准确率提高了8%。
Oct, 2023
本研究解决了现有对话状态跟踪方法依赖固定本体和手动编写槽值限制其灵活性的问题。我们提出了一种新颖的方法,通过指令微调和高级提示策略提升对话状态跟踪性能,无需预定义本体,且采用变分图自编码器建模用户意图。此方法在开放领域的对话中表现出色,达到了42.57%的JGA,显著推动了目标导向聊天机器人的发展。
Oct, 2024