ACLMay, 2020

使用合成数据进行零样本迁移学习的多领域对话状态跟踪

PDF
TL;DR本文提出了一种采用零样本迁移学习的技术，通过从域本体和抽象对话模型中合成所有域内训练数据，对多域对话状态跟踪进行了改进，表明对话状态跟踪中的数据增强可以提高 TRADE 模型和基于 BERT 的 SUMBT 模型在 MultiWOZ2.1 数据集上零样本学习的准确性，并表明只用合成的域内数据对 SUMBT 模型进行训练，可以达到全局数据集训练的 2/3 的准确度，文章的方法还提高了领域之间的平均零样本学习水平达到 21%
zero-shot transfer learningmulti-domain dialogue state trackingdata augmentationtrade modelbert-based sumbt model
发现论文，激发创造
  • 利用多样数据生成实现可调适的零样本对话状态追踪

    通过增加使用合成数据生成技术来提高零 - shot 对话状态追踪（DST）准确性的多样性的训练数据，本研究证明了可实现的巨大收益。该研究通过使用一种新颖的全自动数据生成方法来创建合成的零 - shot DST 训练资源，克服了当前 DST 训练资源在应用领域和槽类型方面的严重限制，该方法生成全新的应用领域以及具备银标注和槽描述的对话。该方法用于创建 D0T 数据集以训练零 - shot DST 模型，该数据集涵盖了 1000 多个领域。在 MultiWOZ 基准测试中进行的实验表明，使用多样化合成数据训练模型可以改善 + 6.7% 的联合目标准确率，达到与更大模型相竞争的结果。

    May, 2024

  • 对话语言理解的零射击自适应转移

    本研究提出一种基于 Zero-Shot Adaptive Transfer 方法的领域自适应对话代理模型，通过利用槽位描述信息实现可重用概念在领域之间的迁移，并避免了显式概念对齐的训练复杂度，实验结果表明此模型在多达 10 个领域的数据集上性能显著优于之前的最优系统，特别在低数据情况下表现更出色。

    Aug, 2018

  • 划分、征服和组合：零样本对话状态跟踪的不受语义限制专家混合

    本文提出了一种简单有效的 “划分、攻克和合并” 解决方案，明确解开已知数据的语义，并利用专家的混合机制来提高零 - shot DST 性能和鲁棒性。 在 T5-Adapter 上对 MultiWOZ2.1 进行的大量实验表明，该架构显着且持续地提高了零 - shot 性能，在没有外部知识的情况下，只需 10M 可训练参数，实现了 SOTA。

    Jun, 2023

  • 面向任务的对话系统可转移的多领域状态生成器

    本文提出了一种可转移的对话状态生成器 (TRADE)，其使用复制机制从话语中生成对话状态，实现了在推断过程中跨领域知识转移。通过零样本和小样本模拟跟踪未见领域，TRADE 实现了 60.58％的联合目标精确度，而不影响已经训练过的领域。

    May, 2019

  • 无标注数据下的少样本对话生成：一种迁移学习方法

    本文介绍了一种基于 MetaLWOz 数据集的知识迁移技术，实现在少量样本下训练对话系统的方法，并在多个领域的人机对话中达到了最先进的结果，同时也不需要任何标注数据。

    Aug, 2019

  • 通过跨任务转移实现零样本对话状态跟踪

    本论文提出了 TransferQA，一个可转移的生成式问答模型，它通过文本到文本转换框架无缝地结合了抽取式问答和多选式问答，有效地处理了零 - shot DST 任务中的分类和非分类插槽，并介绍了两种构建无法回答的问题的有效方法，即负面问题抽样和上下文截断。经过实验证明，在 MultiWoz 上，我们的方法显著改善了现有的零 - shot 和少 - shot 结果，与 Schema-Guided Dialogue 数据集上的全面训练基线相比，我们的方法在未知领域中表现出更好的泛化能力。

    Sep, 2021

  • UNO-DST: 利用无标签数据进行零样本对话状态跟踪

    我们将零样本对话状态跟踪转化为少样本对话状态跟踪，通过联合和自我训练方法利用目标域中的无标签数据。该方法通过辅助任务生成槽类型作为主要任务的逆提示，在联合训练期间创建槽值。这两个任务之间的循环一致性使得能够生成和选择未知目标域中的高质量样本，以进行后续的微调。此方法还有助于自动标签创建，从而优化对话状态跟踪模型的训练和微调。我们在零样本场景中的大型语言模型上展示了该方法的有效性，在 MultiWOZ 的所有领域中，平均联合目标准确率提高了 8%。

    Oct, 2023

  • SynthDST：少样本对话状态跟踪所需的全部都是合成数据

    通过使用大型语言模型 (LLMs)，我们提出了一种为 Dialog State Tracking (DST) 定制的数据生成框架，使用对话模板和对话模式，合成自然、连贯、流畅的带有 DST 注释的对话，从而实现了少样本学习，且相较于使用人工标注的训练数据的少样本学习设置，我们的方法仅仅损失了大约 2% 的性能。

    Feb, 2024

  • 利用槽位描述进行零样本跨域对话状态跟踪

    本论文提出一种增强型随机生成方法，利用自我注意力编码器对对话和插槽进行编码，然后以自回归的方式生成插槽值，并融入信息捕捉模板，实现跨领域知识转移，实验证明该方法在多领域体系下显著提高了当前的零样本跨领域任务对话状态跟踪技术。

    May, 2021

  • 对话知识转移网络实现数据高效目标导向聊天

    该研究提出了一种基于少量无需标注对话实现目标导向对话生成的系统，实现了对话表示的自主学习，涉及到文本知识来源的多重训练，结果显示在使用了比原模型仅百分之十的数据时显著提高了实体识别和 BLEU 得分。

    Oct, 2019