基于多任务学习的联合语言理解和对话状态跟踪

Nov, 2018

基于多任务学习的联合语言理解和对话状态跟踪

Multi-task learning for Joint Language Understanding and Dialogue State Tracking

Abhinav Rastogi, Raghav Gupta, Dilek Hakkani-Tur

TL;DR本文提出了一种新的多任务学习方法，旨在为面向任务的对话系统中的语言理解（LU）和对话状态跟踪（DST）进行学习。多任务训练使得编码用户话语的神经网络层用于 LU 和 DST，通过减少网络参数并提高性能。本研究提出了 DST 框架，用于考虑有大量或无限可能值的插槽及以往对话中未见过的槽值，并探讨了在 LU 和 DST 输出上使用计划采样来弥合训练和推理之间的差距。

Abstract

This paper presents a novel approach for multi-task learning of language understanding (LU) and dialogue state tracking (DST) in task-oriented dialogue systems. Multi-task training enables the sharing of the

multi-task learning language understanding dialogue state tracking task-oriented dialogue systems neural network

发现论文，激发创造

可扩展的多领域对话状态跟踪

本文介绍了一种基于深度学习的可伸缩的多领域对话状态跟踪方法，通过引入一个新的状态跟踪框架，该框架独立于具体的槽值集合，并将对话状态表示为候选值集合的分布，此方法能够快速适应新领域，提高跨领域和可扩展性。

Dec, 2017

MA-DST: 基于多注意力的可扩展对话状态跟踪

本文提出了一种新的架构，利用多粒度的注意力机制来更稳健地编码对话历史和槽的语义，用于实现准确的跨域对话状态跟踪，并在 MultiWoZ 2.1 数据集上将联合目标准确率提高了 5%（绝对值），并在零 - shot 设置下比现有最先进技术提高至多 2%（绝对值）。

Feb, 2020

一种针对少样本对话状态跟踪的双提示学习框架

通过设计双提示学习框架，利用预训练语言模型的语言理解和生成能力，将对话状态跟踪任务高效地转化为一项语言建模任务，提高了低资源情况下对话状态跟踪的效率。实验证明，该方法优于现有的少样本学习方法，并且可生成未见过的槽位。

Jan, 2022

对话状态跟踪的交互槽对比学习对话状态蒸馏网络

本文提出一种 Dialogue State Distillation Network（DSDN）用于进行任务导向的对话系统中的 Dialogue State Tracking（DST），并且在 MultiWOZ 2.0 和 MultiWOZ 2.1 数据集上实验证明，该网络可以动态地利用先前的对话状态并避免引入误差传播，同时还可以有效地捕捉来自对话语境的插槽共同更新关系

Feb, 2023

基于 LLM 的对话状态跟踪

对 ChatGPT 在对话状态跟踪 (DST) 任务中的能力进行了初步评估，发现其表现出色。为了解决 ChatGPT 的局限性，提出了基于小型开源模型的 LLM 驱动的 DST 框架 LDST，通过领域 - 槽位指令调优方法，LDST 在零样本和少样本设置下相较于之前的 SOTA 方法取得了显著的性能提升。提供源代码以保证可复现性。

Oct, 2023

预测对话状态和对话内容的多级融合对话状态跟踪

本论文提出了一种多层次融合对话状态跟踪（DST）网络，通过建模每个对话轮次的交互，实现从以往对话历史和当前对话上下文中抽取对话状态信息，进行预测和融合，加强对当前对话状态的跟踪和理解，实验结果表明该模型在 MultiWOZ 2.0 和 MultiWOZ 2.1 数据集上取得了当前领先的 55.03% 和 59.07% 联合灵敏度值。

Jul, 2021

通过 LLM 支持的用户代理模拟增强对话状态跟踪模型

利用 GPT-4 生成对话数据，通过在 LLaMA 2 上进行两阶段的微调，减少对话收集和注释成本，并表现出比仅使用真实数据训练的基准模型更好的性能，同时适应实际场景中的动态需求。

May, 2024

S3-DST: 基于结构化的开放域对话分割与状态跟踪在 LLM 时代

对于基于大语言模型的聊天系统，我们提出了一种结合对话分割和状态跟踪的方法，在开放领域对话系统中处理来自演化的大语言模型聊天系统的复杂性并提高跟踪性能。我们的方法通过引入一种新的基于先前分析的回忆的接地机制来改善对长对话上下文的跟踪，并在一系列数据集和设置中得到了出色的表现，证明了其在下一代大语言模型聊天系统中的有效性和鲁棒性。

Sep, 2023

多域对话状态跟踪的高效上下文和模式融合网络

本文提出了一种基于内部和外部注意机制的上下文和架构融合网络来编码对话上下文和架构图，能够在 MultiWOZ 2.0 和 MultiWOZ 2.1 基准测试中获得最新的最佳性能的开放词汇 DST。

Apr, 2020

基于 Multi-Task BERT 模型的 Schema-Guided 对话状态跟踪

文章提出了一种基于多任务 BERT 模型的对话状态跟踪器，可以同时解决意图预测、请求插槽预测和插槽填充等三个 DST 任务，并采用高效和简洁的对话历史和服务架构编码来提高性能。通过对 SGD 数据集进行的评估，结果表明该方法在计算效率明显提高的同时，大幅度超越了基线 SGP-DST，并且性能表现接近于最先进的模型。

Jul, 2022