ACLFeb, 2022

ASSIST: 面向标签噪声鲁棒的对话状态跟踪

PDF
TL;DR本文提出了一种名为 ASSIST 的框架来训练从带噪标签中学习的 DST 模型。ASSIST 使用在小型干净数据集上训练的辅助模型生成每个训练样本的伪标签，然后将生成的伪标签和带噪标签一起用于训练主模型，实验表明，ASSIST 可以将 DST 的联合目标准确度在 MultiWOZ 2.0 和 MultiWOZ 2.4 上分别提高 28.16％和 8.41％，相对于只使用带噪标签。
multiwoz 2.0dialogue state trackingnoisy labelsassistpseudo labels
发现论文，激发创造
  • 元学习强化对话状态追踪的鲁棒性

    本文提出了一种名为 MetaASSIST 的元学习框架，用于自适应学习困难的对话状态跟踪模型中共同固定的加权参数，并通过三种方案将其转换为可学习的函数进行元学习。实验结果表明，该框架可以实现竞争性能，并在 MultiWOZ 2.4 上实现了 80.10％的最新联合目标准确性。

    Oct, 2022

  • 利用自监督来改善有限标注对话状态跟踪

    本文提出并研究了两种自我监督方法：保持潜在一致性和建模对话行为，以提高数据效率，实验结果显示这种方法将使联合目标的准确度提高了 8.95％。

    Oct, 2020

  • 面向任务建模的对话状态跟踪的半监督引导

    本文研究了利用半监督学习方法在构建神经对话系统时可以减少中间标签的数量，发现可以利用未注释数据来显著减少对话状态的转换级别注释，同时在 MultiWOZ 语料库上进行了分析并提出了第一个端到端的对话模型。

    Nov, 2019

  • MultiWOZ 2.4: 一个包含必要注释更正的多领域任务导向对话数据集，以改进状态追踪评估

    本文介绍了 MultiWOZ 2.4，它在 MultiWOZ 2.1 的验证集和测试集中改进了注释，并在此数据集上基于八个最先进的对话状态跟踪模型进行了评测，所有这些模型的表现均比 MultiWOZ 2.1 优异。

    Apr, 2021

  • UNO-DST: 利用无标签数据进行零样本对话状态跟踪

    我们将零样本对话状态跟踪转化为少样本对话状态跟踪，通过联合和自我训练方法利用目标域中的无标签数据。该方法通过辅助任务生成槽类型作为主要任务的逆提示，在联合训练期间创建槽值。这两个任务之间的循环一致性使得能够生成和选择未知目标域中的高质量样本，以进行后续的微调。此方法还有助于自动标签创建，从而优化对话状态跟踪模型的训练和微调。我们在零样本场景中的大型语言模型上展示了该方法的有效性，在 MultiWOZ 的所有领域中，平均联合目标准确率提高了 8%。

    Oct, 2023

  • MultiWOZ 中的注释不一致性和实体偏倚

    本研究针对 MultiWOZ 数据集中 Dialog State Tracking (DST) 这一任务的注释一致性问题进行了研究，并提出了一种自动的纠正方法，通过该方法可以在数据集上进行 7-10％的 JGA 增强。此外，还检测到数据集中的实体偏差问题，并在新的测试集上测试出实体未知时，JGA 可能下降高达 29％。

    May, 2021

  • MultiWOZ 2.3：一个增强的多领域任务导向对话数据集，带有注释更正和同指标注

    本文介绍了 MultiWOZ 2.3 数据集，通过协同指称功能和一致化注释实现了对话行为和对话状态的一致性，提高了自然语言理解和对话状态跟踪的性能表现。

    Oct, 2020

  • MultiWOZ 2.1：一个包含状态纠正和状态跟踪基线的融合多域对话数据集

    MultiWOZ 2.1 是一个包括多个领域的对话数据集，通过重新注释状态和话语，以及合并用户对话行为，解决了 MultiWOZ 2.0 存在的问题，并对该数据集进行了评估，展示了当前最先进的对话状态跟踪模型在该数据集上的表现。

    Jul, 2019

  • 使用弱监督和稀疏数据的稳健对话状态跟踪

    本文介绍了一个基于 attention mechanism 的迁移学习方法，适用于在训练过程中缺乏丰富人工标注数据的情况下训练 extractive DST 模型，通过两种新颖的输入级 dropout 方法来减轻样本稀疏性的负面影响。我们的实验表明，提出的模型训练策略和架构方法在应对新概念、样本稀疏性等挑战时表现出优越性。

    Feb, 2022

  • 稀疏监督引导下的注意力对话状态追踪

    本论文提出了一种基于 encoder-decoder 模型的 Dialogue State Tracking 方法，在利用数据量较小的情况下学习对话状态，结果表明该方法与基于完全监督的基线相当，但成本更低。

    Jan, 2021