Sep, 2023

S3-DST: 基于结构化的开放域对话分割与状态跟踪在 LLM 时代

PDF
TL;DR对于基于大语言模型的聊天系统，我们提出了一种结合对话分割和状态跟踪的方法，在开放领域对话系统中处理来自演化的大语言模型聊天系统的复杂性并提高跟踪性能。我们的方法通过引入一种新的基于先前分析的回忆的接地机制来改善对长对话上下文的跟踪，并在一系列数据集和设置中得到了出色的表现，证明了其在下一代大语言模型聊天系统中的有效性和鲁棒性。
发现论文，激发创造
  • 基于 LLM 的对话状态跟踪

    对 ChatGPT 在对话状态跟踪 (DST) 任务中的能力进行了初步评估，发现其表现出色。为了解决 ChatGPT 的局限性，提出了基于小型开源模型的 LLM 驱动的 DST 框架 LDST，通过领域 - 槽位指令调优方法，LDST 在零样本和少样本设置下相较于之前的 SOTA 方法取得了显著的性能提升。提供源代码以保证可复现性。

    Oct, 2023

  • 可扩展的多领域对话状态跟踪

    本文介绍了一种基于深度学习的可伸缩的多领域对话状态跟踪方法，通过引入一个新的状态跟踪框架，该框架独立于具体的槽值集合，并将对话状态表示为候选值集合的分布，此方法能够快速适应新领域，提高跨领域和可扩展性。

    Dec, 2017

  • 通过 LLM 支持的用户代理模拟增强对话状态跟踪模型

    利用 GPT-4 生成对话数据，通过在 LLaMA 2 上进行两阶段的微调，减少对话收集和注释成本，并表现出比仅使用真实数据训练的基准模型更好的性能，同时适应实际场景中的动态需求。

    May, 2024

  • MA-DST: 基于多注意力的可扩展对话状态跟踪

    本文提出了一种新的架构，利用多粒度的注意力机制来更稳健地编码对话历史和槽的语义，用于实现准确的跨域对话状态跟踪，并在 MultiWoZ 2.1 数据集上将联合目标准确率提高了 5%（绝对值），并在零 - shot 设置下比现有最先进技术提高至多 2%（绝对值）。

    Feb, 2020

  • 基于多任务学习的联合语言理解和对话状态跟踪

    本文提出了一种新的多任务学习方法，旨在为面向任务的对话系统中的语言理解（LU）和对话状态跟踪（DST）进行学习。多任务训练使得编码用户话语的神经网络层用于 LU 和 DST，通过减少网络参数并提高性能。 本研究提出了 DST 框架，用于考虑有大量或无限可能值的插槽及以往对话中未见过的槽值，并探讨了在 LU 和 DST 输出上使用计划采样来弥合训练和推理之间的差距。

    Nov, 2018

  • 零样本对话状态跟踪的复杂更新策略的大型语言模型语义解析

    通过语义解析将原始对话文本转换为 JSON，使用大型语言模型和更多模块来实现更新策略，提出一种新的上下文学习方法 ParsingDST，通过引入复杂的更新策略改进了零样本对话状态跟踪 (DST)，在 MultiWOZ 数据集上优于现有的方法，对比现有的上下文学习方法在联合目标准确性和槽准确性方面有显著的改进。

    Oct, 2023

  • 你跟得上我吗？”: 对话状态跟踪近期方法综述

    对话状态跟踪是对话系统中的重要环节，虽然神经方法实现了显著的进展，但对话系统的一些关键方面，如可拓展性等仍未得到充分探索，本文提出了未来研究的几个方向。

    Jul, 2022

  • XQA-DST：多域和多语言对话状态跟踪

    本文提出了一种领域无关的抽取式问答方法用于对话状态跟踪，通过训练一个分类器来预测多个领域的出现情况，将复杂的领域信息进行分离并在活动领域提取跨域问题答案，在多个数据集上达成了优秀的零 - shot 转移模型表现。

    Apr, 2022

  • 对话状态跟踪的语义表述

    采用层次表示的语义分析任务，以实现对话状态跟踪，并通过 TreeDST 数据集的编码器 - 解码器框架实现了比现有技术水平的 DST 方法更好的结果。

    Oct, 2020

  • 目标导向的多任务 BERT 对话状态跟踪器

    本文提出了一种基于 BERT 模型的 GOaL-Oriented 多任务对话状态跟踪器（GOLOMB），该模型通过查询对话历史记录中的槽口和服务的描述以及可能的槽口值来传输多域对话中的槽口值，并具有扩展到未见过的槽口类型的能力。我们的模型在 SGD 数据集上取得了 53.97％的联合目标准确率，优于基线模型。

    Feb, 2020