ACLOct, 2022

CSS: 结合自训练与自监督学习进行少样本对话状态跟踪

PDF
TL;DR本文提出了一种名为 CSS 的少样本对话状态追踪 (DST) 框架，其将自我训练和自我监督学习方法相结合，并将 DST 任务的未标记数据并入到自我训练迭代中。同时使用对比自我监督方法来学习更好的表示，该方法通过 dropout 操作扩充数据来训练模型。在 MultiWOZ 数据集上的实验结果表明，我们提出的 CSS 在几个少样本场景下具有竞争力的性能。
few-shotdialogue state trackingself-trainingself-supervised learningmultiwoz
发现论文，激发创造
  • 利用自监督来改善有限标注对话状态跟踪

    本文提出并研究了两种自我监督方法：保持潜在一致性和建模对话行为，以提高数据效率，实验结果显示这种方法将使联合目标的准确度提高了 8.95％。

    Oct, 2020

  • UNO-DST: 利用无标签数据进行零样本对话状态跟踪

    我们将零样本对话状态跟踪转化为少样本对话状态跟踪，通过联合和自我训练方法利用目标域中的无标签数据。该方法通过辅助任务生成槽类型作为主要任务的逆提示，在联合训练期间创建槽值。这两个任务之间的循环一致性使得能够生成和选择未知目标域中的高质量样本，以进行后续的微调。此方法还有助于自动标签创建，从而优化对话状态跟踪模型的训练和微调。我们在零样本场景中的大型语言模型上展示了该方法的有效性，在 MultiWOZ 的所有领域中，平均联合目标准确率提高了 8%。

    Oct, 2023

  • DS2: 对话总结作为对话状态的表示，基于模板的少样本对话状态跟踪

    本文提出基于语言模型的少样本对话状态追踪方法，将对话状态追踪问题重新表述为对话摘要问题，并使用合成的对话摘要训练模型。经实验证明，该方法在跨领域和多领域设置下的效果都优于以往方法，并提升训练和推理速度。

    Mar, 2022

  • SF-DST: 少样本自喂式陈述理解对话状态跟踪及其辅助任务

    本文提出一种无本体论的少样本对话状态跟踪模型，采用自我喂养信念状态作为输入，通过总结先前的对话提高多轮对话的准确性，同时新增了一个槽门辅助任务，成功应用于多领域的任务中，达到了最佳表现。

    Sep, 2022

  • 一种针对少样本对话状态跟踪的双提示学习框架

    通过设计双提示学习框架，利用预训练语言模型的语言理解和生成能力，将对话状态跟踪任务高效地转化为一项语言建模任务，提高了低资源情况下对话状态跟踪的效率。实验证明，该方法优于现有的少样本学习方法，并且可生成未见过的槽位。

    Jan, 2022

  • 面向任务型对话系统的基于提示的小样本学习方法在信念状态跟踪中的研究

    我们探讨了基于任务导向的对话系统的对话信念状态跟踪（DST）问题。通过以 Prompt 为基础进行少样本学习，我们证明了 Prompt-based 方法在 DST 的 Few-shot 学习中具有潜在的潜力，并提供了未来改进的方向。

    Apr, 2022

  • 元学习的 Few Shot 对话状态跟踪

    本文提出了一种基于元学习算法的 D-REPTILE 模型，用于解决自动聊天机器人中少样本语料下的对话状态跟踪问题，并在不同领域、方法、基准模型和数据集中进行了广泛实验，结果表明该方法在低数据情况下具有显著的（5-25%）改进，并且适用于各种状态跟踪模型。

    Jan, 2021

  • 选择融合作为零样本对话状态跟踪的知识

    本研究提出 CoFunDST，使用域不可知的 QA 数据集培训，通过 T5 预训练语言模型基于候选选项直接生成零样本对话状态。与现有的零样本 DST 方法相比，在 MultiWOZ 2.1 的大多数领域中，我们的模型具有更好的联合目标准确性。

    Feb, 2023

  • 对话状态跟踪的交互槽对比学习对话状态蒸馏网络

    本文提出一种 Dialogue State Distillation Network（DSDN）用于进行任务导向的对话系统中的 Dialogue State Tracking（DST），并且在 MultiWOZ 2.0 和 MultiWOZ 2.1 数据集上实验证明，该网络可以动态地利用先前的对话状态并避免引入误差传播，同时还可以有效地捕捉来自对话语境的插槽共同更新关系

    Feb, 2023

  • 少量样本对话状态跟踪的上下文学习

    本研究提出了一个基于 in-context learning (ICL) 框架、利用大型预训练语言模型 (LM) 进行零样本和小样本学习的对话状态跟踪 (DST) 方法，重点是通过将 DST 优化为文本到 SQL 问题和使用新颖的对话检索方法，以检索标注对话作为样本来提高对答案问题的准确性。在 MultiWOZ 上的实证结果表明，IC-DST 法在小样本情境中明显优于以往最先进的模型，在只输入固定任务指令的零样本情境下，也比以往的零样本方法表现得更好。

    Mar, 2022