Oct, 2023

UNO-DST: 利用无标签数据进行零样本对话状态跟踪

PDF
TL;DR我们将零样本对话状态跟踪转化为少样本对话状态跟踪，通过联合和自我训练方法利用目标域中的无标签数据。该方法通过辅助任务生成槽类型作为主要任务的逆提示，在联合训练期间创建槽值。这两个任务之间的循环一致性使得能够生成和选择未知目标域中的高质量样本，以进行后续的微调。此方法还有助于自动标签创建，从而优化对话状态跟踪模型的训练和微调。我们在零样本场景中的大型语言模型上展示了该方法的有效性，在 MultiWOZ 的所有领域中，平均联合目标准确率提高了 8%。
发现论文，激发创造
  • 通过跨任务转移实现零样本对话状态跟踪

    本论文提出了 TransferQA，一个可转移的生成式问答模型，它通过文本到文本转换框架无缝地结合了抽取式问答和多选式问答，有效地处理了零 - shot DST 任务中的分类和非分类插槽，并介绍了两种构建无法回答的问题的有效方法，即负面问题抽样和上下文截断。经过实验证明，在 MultiWoz 上，我们的方法显著改善了现有的零 - shot 和少 - shot 结果，与 Schema-Guided Dialogue 数据集上的全面训练基线相比，我们的方法在未知领域中表现出更好的泛化能力。

    Sep, 2021

  • 利用多样数据生成实现可调适的零样本对话状态追踪

    通过增加使用合成数据生成技术来提高零 - shot 对话状态追踪（DST）准确性的多样性的训练数据，本研究证明了可实现的巨大收益。该研究通过使用一种新颖的全自动数据生成方法来创建合成的零 - shot DST 训练资源，克服了当前 DST 训练资源在应用领域和槽类型方面的严重限制，该方法生成全新的应用领域以及具备银标注和槽描述的对话。该方法用于创建 D0T 数据集以训练零 - shot DST 模型，该数据集涵盖了 1000 多个领域。在 MultiWOZ 基准测试中进行的实验表明，使用多样化合成数据训练模型可以改善 + 6.7% 的联合目标准确率，达到与更大模型相竞争的结果。

    May, 2024

  • 利用自监督来改善有限标注对话状态跟踪

    本文提出并研究了两种自我监督方法：保持潜在一致性和建模对话行为，以提高数据效率，实验结果显示这种方法将使联合目标的准确度提高了 8.95％。

    Oct, 2020

  • 通过生成式问答实现对话状态跟踪中的零 - shot 泛化

    研究了一种基于生成型问答和条件语言模型的不需要本体的 Dialog State Tracking 方法，具有较好的领域迁移效果。

    Jan, 2021

  • 利用槽位描述进行零样本跨域对话状态跟踪

    本论文提出一种增强型随机生成方法，利用自我注意力编码器对对话和插槽进行编码，然后以自回归的方式生成插槽值，并融入信息捕捉模板，实现跨领域知识转移，实验证明该方法在多领域体系下显著提高了当前的零样本跨领域任务对话状态跟踪技术。

    May, 2021

  • 选择融合作为零样本对话状态跟踪的知识

    本研究提出 CoFunDST，使用域不可知的 QA 数据集培训，通过 T5 预训练语言模型基于候选选项直接生成零样本对话状态。与现有的零样本 DST 方法相比，在 MultiWOZ 2.1 的大多数领域中，我们的模型具有更好的联合目标准确性。

    Feb, 2023

  • CSS: 结合自训练与自监督学习进行少样本对话状态跟踪

    本文提出了一种名为 CSS 的少样本对话状态追踪 (DST) 框架，其将自我训练和自我监督学习方法相结合，并将 DST 任务的未标记数据并入到自我训练迭代中。同时使用对比自我监督方法来学习更好的表示，该方法通过 dropout 操作扩充数据来训练模型。在 MultiWOZ 数据集上的实验结果表明，我们提出的 CSS 在几个少样本场景下具有竞争力的性能。

    Oct, 2022

  • 划分、征服和组合：零样本对话状态跟踪的不受语义限制专家混合

    本文提出了一种简单有效的 “划分、攻克和合并” 解决方案，明确解开已知数据的语义，并利用专家的混合机制来提高零 - shot DST 性能和鲁棒性。 在 T5-Adapter 上对 MultiWOZ2.1 进行的大量实验表明，该架构显着且持续地提高了零 - shot 性能，在没有外部知识的情况下，只需 10M 可训练参数，实现了 SOTA。

    Jun, 2023

  • XQA-DST：多域和多语言对话状态跟踪

    本文提出了一种领域无关的抽取式问答方法用于对话状态跟踪，通过训练一个分类器来预测多个领域的出现情况，将复杂的领域信息进行分离并在活动领域提取跨域问题答案，在多个数据集上达成了优秀的零 - shot 转移模型表现。

    Apr, 2022

  • 基于多任务学习的联合语言理解和对话状态跟踪

    本文提出了一种新的多任务学习方法，旨在为面向任务的对话系统中的语言理解（LU）和对话状态跟踪（DST）进行学习。多任务训练使得编码用户话语的神经网络层用于 LU 和 DST，通过减少网络参数并提高性能。 本研究提出了 DST 框架，用于考虑有大量或无限可能值的插槽及以往对话中未见过的槽值，并探讨了在 LU 和 DST 输出上使用计划采样来弥合训练和推理之间的差距。

    Nov, 2018