Jun, 2024

使用 GPT-4 的二维零样本对话状态跟踪评估方法

PDF
TL;DR我们提出了一种使用 GPT-4 的二维零样本评价方法，将对话状态跟踪 (DST) 评价分为准确性和完整性两个维度，并设计了两条手动推理路径来进一步提高评价准确性，实验结果表明我们的方法比基线方法取得了更好的性能，并且与传统的精确匹配方法一致。
dialogue state trackingexact matching methodssemantic consistencylarge language modelsgpt-4
发现论文，激发创造
  • 基于 LLM 的对话状态跟踪

    对 ChatGPT 在对话状态跟踪 (DST) 任务中的能力进行了初步评估，发现其表现出色。为了解决 ChatGPT 的局限性，提出了基于小型开源模型的 LLM 驱动的 DST 框架 LDST，通过领域 - 槽位指令调优方法，LDST 在零样本和少样本设置下相较于之前的 SOTA 方法取得了显著的性能提升。提供源代码以保证可复现性。

    Oct, 2023

  • 通过 LLM 支持的用户代理模拟增强对话状态跟踪模型

    利用 GPT-4 生成对话数据，通过在 LLaMA 2 上进行两阶段的微调，减少对话收集和注释成本，并表现出比仅使用真实数据训练的基准模型更好的性能，同时适应实际场景中的动态需求。

    May, 2024

  • 零 - shot 对话状态跟踪的 ChatGPT：解决方案还是机会？

    我们使用 ChatGPT ，一个通用语言模型，展示了它在零 - shot DST 上达到的最先进的表现，并证明了通用模型在专业系统替代方面的能力受到其属性的限制，但我们认为通用模型的语境学习能力很可能成为支持专门的动态对话状态跟踪器开发的有力工具。

    Jun, 2023

  • ChatGPT 的零 - shot 对话理解初步评估

    本文研究了 ChatGPT 在零 - shot 语音理解和对话状态跟踪任务中的理解能力，并发现 ChatGPT 在对话状态跟踪任务中从多轮交互提示中获益，但在语音理解任务的信息填槽中存在困难。此外，我们总结了 ChatGPT 在对话理解任务中的一些意外行为，希望为未来建立基于大语言模型的零 - shot 对话理解系统提供一些见解。

    Apr, 2023

  • 通过函数调用将大型语言模型作为零样本对话状态跟踪器

    通过函数调用，我们提出了一种改进零样本对话状态跟踪的方法，以提高大型语言模型的任务导向对话的效果，并实现了与当前最先进模型的性能相媲美。

    Feb, 2024

  • 零样本对话状态跟踪的复杂更新策略的大型语言模型语义解析

    通过语义解析将原始对话文本转换为 JSON，使用大型语言模型和更多模块来实现更新策略，提出一种新的上下文学习方法 ParsingDST，通过引入复杂的更新策略改进了零样本对话状态跟踪 (DST)，在 MultiWOZ 数据集上优于现有的方法，对比现有的上下文学习方法在联合目标准确性和槽准确性方面有显著的改进。

    Oct, 2023

  • 针对基于模式引导的零样本对话状态跟踪进行 BERT 微调

    本文提出了一种基于预训练语言模型 BERT 微调的无监督对话状态跟踪系统 (SGP-DST)，它包括意图预测、关键词填充、槽传递预测和用户状态总结 4 个模块，是目前在第八届对话系统技术挑战赛中排名第三的解决方案。

    Feb, 2020

  • 通过生成式问答实现对话状态跟踪中的零 - shot 泛化

    研究了一种基于生成型问答和条件语言模型的不需要本体的 Dialog State Tracking 方法，具有较好的领域迁移效果。

    Jan, 2021

  • 通过跨任务转移实现零样本对话状态跟踪

    本论文提出了 TransferQA，一个可转移的生成式问答模型，它通过文本到文本转换框架无缝地结合了抽取式问答和多选式问答，有效地处理了零 - shot DST 任务中的分类和非分类插槽，并介绍了两种构建无法回答的问题的有效方法，即负面问题抽样和上下文截断。经过实验证明，在 MultiWoz 上，我们的方法显著改善了现有的零 - shot 和少 - shot 结果，与 Schema-Guided Dialogue 数据集上的全面训练基线相比，我们的方法在未知领域中表现出更好的泛化能力。

    Sep, 2021

  • 通过提示调整实现参数高效的低资源对话状态跟踪

    该论文研究了如何在对话管理中跟踪用户的信念，通过使用软提示令牌嵌入来学习任务属性，可以显著减少先前工作所需的参数数量，同时实现更好的低资源对话状态跟踪性能。

    Jan, 2023