May, 2024

通过 LLM 支持的用户代理模拟增强对话状态跟踪模型

PDF
TL;DR利用 GPT-4 生成对话数据，通过在 LLaMA 2 上进行两阶段的微调，减少对话收集和注释成本，并表现出比仅使用真实数据训练的基准模型更好的性能，同时适应实际场景中的动态需求。
dialogue state trackingllmsdialogue datadst predictiontask-oriented dialogue systems
发现论文，激发创造
  • 基于 LLM 的对话状态跟踪

    对 ChatGPT 在对话状态跟踪 (DST) 任务中的能力进行了初步评估，发现其表现出色。为了解决 ChatGPT 的局限性，提出了基于小型开源模型的 LLM 驱动的 DST 框架 LDST，通过领域 - 槽位指令调优方法，LDST 在零样本和少样本设置下相较于之前的 SOTA 方法取得了显著的性能提升。提供源代码以保证可复现性。

    Oct, 2023

  • S3-DST: 基于结构化的开放域对话分割与状态跟踪在 LLM 时代

    对于基于大语言模型的聊天系统，我们提出了一种结合对话分割和状态跟踪的方法，在开放领域对话系统中处理来自演化的大语言模型聊天系统的复杂性并提高跟踪性能。我们的方法通过引入一种新的基于先前分析的回忆的接地机制来改善对长对话上下文的跟踪，并在一系列数据集和设置中得到了出色的表现，证明了其在下一代大语言模型聊天系统中的有效性和鲁棒性。

    Sep, 2023

  • 通过函数调用将大型语言模型作为零样本对话状态跟踪器

    通过函数调用，我们提出了一种改进零样本对话状态跟踪的方法，以提高大型语言模型的任务导向对话的效果，并实现了与当前最先进模型的性能相媲美。

    Feb, 2024

  • 使用 GPT-4 的二维零样本对话状态跟踪评估方法

    我们提出了一种使用 GPT-4 的二维零样本评价方法，将对话状态跟踪 (DST) 评价分为准确性和完整性两个维度，并设计了两条手动推理路径来进一步提高评价准确性，实验结果表明我们的方法比基线方法取得了更好的性能，并且与传统的精确匹配方法一致。

    Jun, 2024

  • 基于多任务学习的联合语言理解和对话状态跟踪

    本文提出了一种新的多任务学习方法，旨在为面向任务的对话系统中的语言理解（LU）和对话状态跟踪（DST）进行学习。多任务训练使得编码用户话语的神经网络层用于 LU 和 DST，通过减少网络参数并提高性能。 本研究提出了 DST 框架，用于考虑有大量或无限可能值的插槽及以往对话中未见过的槽值，并探讨了在 LU 和 DST 输出上使用计划采样来弥合训练和推理之间的差距。

    Nov, 2018

  • 零 - shot 对话状态跟踪的 ChatGPT：解决方案还是机会？

    我们使用 ChatGPT ，一个通用语言模型，展示了它在零 - shot DST 上达到的最先进的表现，并证明了通用模型在专业系统替代方面的能力受到其属性的限制，但我们认为通用模型的语境学习能力很可能成为支持专门的动态对话状态跟踪器开发的有力工具。

    Jun, 2023

  • 可扩展的多领域对话状态跟踪

    本文介绍了一种基于深度学习的可伸缩的多领域对话状态跟踪方法，通过引入一个新的状态跟踪框架，该框架独立于具体的槽值集合，并将对话状态表示为候选值集合的分布，此方法能够快速适应新领域，提高跨领域和可扩展性。

    Dec, 2017

  • 通过提示调整实现参数高效的低资源对话状态跟踪

    该论文研究了如何在对话管理中跟踪用户的信念，通过使用软提示令牌嵌入来学习任务属性，可以显著减少先前工作所需的参数数量，同时实现更好的低资源对话状态跟踪性能。

    Jan, 2023

  • 通过示例引导的问答方式进行连续对话状态跟踪

    通过将对话状态追踪重新构想为一个打包的例子指导的问题回答任务，以利于持续学习并减少服务特定的记忆，该方法通过学习在过程中上下文的例子以及结合对话层次的记忆回放方法，无需依赖于任何复杂的规范化或参数扩展方法，便可获得 DST 持续学习度量上的最先进性能。

    May, 2023

  • 目标导向的多任务 BERT 对话状态跟踪器

    本文提出了一种基于 BERT 模型的 GOaL-Oriented 多任务对话状态跟踪器（GOLOMB），该模型通过查询对话历史记录中的槽口和服务的描述以及可能的槽口值来传输多域对话中的槽口值，并具有扩展到未见过的槽口类型的能力。我们的模型在 SGD 数据集上取得了 53.97％的联合目标准确率，优于基线模型。

    Feb, 2020