EMNLPMar, 2022

少量样本对话状态跟踪的上下文学习

PDF
TL;DR本研究提出了一个基于 in-context learning (ICL) 框架、利用大型预训练语言模型 (LM) 进行零样本和小样本学习的对话状态跟踪 (DST) 方法，重点是通过将 DST 优化为文本到 SQL 问题和使用新颖的对话检索方法，以检索标注对话作为样本来提高对答案问题的准确性。在 MultiWOZ 上的实证结果表明，IC-DST 法在小样本情境中明显优于以往最先进的模型，在只输入固定任务指令的零样本情境下，也比以往的零样本方法表现得更好。
发现论文，激发创造
  • 多样化的检索增强背景学习用于对话状态跟踪

    本文提出了 RefPyDST，在零和少样本学习中通过将 DST 作为 Python 编程任务明确地建模语言交替参考，通过检索一组相关性更强的例子来提高性能，并在解码期间引入一种新颖的重新加权方法以获取更精确的对话状态预测，从而在 MultiWOZ 上实现了最新的多域联合目标准确性。

    Jul, 2023

  • 利用预训练语言模型稳定上下文学习以实现少样本对话状态跟踪

    通过元学习在对话领域稳定模型，设计新的训练方法改进检索机制寻找理想的示例，在句子长度有限的情况下，使用显著性模型限制对话文本长度，从而在 MultiWOZ 上实现了具有竞争力的少样本对话状态跟踪结果。

    Feb, 2023

  • 零样本对话状态跟踪的复杂更新策略的大型语言模型语义解析

    通过语义解析将原始对话文本转换为 JSON，使用大型语言模型和更多模块来实现更新策略，提出一种新的上下文学习方法 ParsingDST，通过引入复杂的更新策略改进了零样本对话状态跟踪 (DST)，在 MultiWOZ 数据集上优于现有的方法，对比现有的上下文学习方法在联合目标准确性和槽准确性方面有显著的改进。

    Oct, 2023

  • 一种针对少样本对话状态跟踪的双提示学习框架

    通过设计双提示学习框架，利用预训练语言模型的语言理解和生成能力，将对话状态跟踪任务高效地转化为一项语言建模任务，提高了低资源情况下对话状态跟踪的效率。实验证明，该方法优于现有的少样本学习方法，并且可生成未见过的槽位。

    Jan, 2022

  • 面向任务型对话系统的基于提示的小样本学习方法在信念状态跟踪中的研究

    我们探讨了基于任务导向的对话系统的对话信念状态跟踪（DST）问题。通过以 Prompt 为基础进行少样本学习，我们证明了 Prompt-based 方法在 DST 的 Few-shot 学习中具有潜在的潜力，并提供了未来改进的方向。

    Apr, 2022

  • SynthDST：少样本对话状态跟踪所需的全部都是合成数据

    通过使用大型语言模型 (LLMs)，我们提出了一种为 Dialog State Tracking (DST) 定制的数据生成框架，使用对话模板和对话模式，合成自然、连贯、流畅的带有 DST 注释的对话，从而实现了少样本学习，且相较于使用人工标注的训练数据的少样本学习设置，我们的方法仅仅损失了大约 2% 的性能。

    Feb, 2024

  • 选择融合作为零样本对话状态跟踪的知识

    本研究提出 CoFunDST，使用域不可知的 QA 数据集培训，通过 T5 预训练语言模型基于候选选项直接生成零样本对话状态。与现有的零样本 DST 方法相比，在 MultiWOZ 2.1 的大多数领域中，我们的模型具有更好的联合目标准确性。

    Feb, 2023

  • Z-ICL: 伪示例下的零样本上下文学习

    介绍了一种新的零样本方法 Z-ICL，通过使用文本语料库为给定的测试输入构造伪演示来缩小性能差距，并在九个分类数据集上的评估表明，Z-ICL 明显优于以前的零样本方法，并且与带标记训练数据的上下文学习在少样本学习中不相上下。

    Dec, 2022

  • Self-ICL: 自生成示范的零样本上下文学习

    本文提出了 Self-ICL，一种基于零 - shot 学习的简单框架，用于优化大型语言模型的内在能力，并创造了虚拟演示的概念以有效地进行 ICL。通过在 BIG-Bench Hard 上进行的评估，该方法能够显着提高模型的性能。

    May, 2023

  • 元学习的 Few Shot 对话状态跟踪

    本文提出了一种基于元学习算法的 D-REPTILE 模型，用于解决自动聊天机器人中少样本语料下的对话状态跟踪问题，并在不同领域、方法、基准模型和数据集中进行了广泛实验，结果表明该方法在低数据情况下具有显著的（5-25%）改进，并且适用于各种状态跟踪模型。

    Jan, 2021