对话状态跟踪领域自适应的零样本自适应前缀
本文提出了一种高效且通用的基于领域的前缀微调模型,利用领域词初始化前缀模块以减轻领域交错,采用离散提示来引导模型关注对话的关键内容并增强模型的泛化能力。我们在 TODSum 和 QMSum 数据集上进行了零 - shot 实验,并构建了领域自适应基准。充分的实验和定性分析证明了我们方法的有效性。
Apr, 2022
本论文提出一种增强型随机生成方法,利用自我注意力编码器对对话和插槽进行编码,然后以自回归的方式生成插槽值,并融入信息捕捉模板,实现跨领域知识转移,实验证明该方法在多领域体系下显著提高了当前的零样本跨领域任务对话状态跟踪技术。
May, 2021
零 - shot 跨领域槽填充的生成式零 - shot 提示学习框架,通过反向提示策略区分不同槽类型以避免多重预测问题,以及通过训练更少的提示参数来提高性能,证明了我们提出的框架的有效性,尤其是在未见过的槽上有巨大的提升(+13.44% F1)。
Jul, 2023
通过增加使用合成数据生成技术来提高零 - shot 对话状态追踪(DST)准确性的多样性的训练数据,本研究证明了可实现的巨大收益。该研究通过使用一种新颖的全自动数据生成方法来创建合成的零 - shot DST 训练资源,克服了当前 DST 训练资源在应用领域和槽类型方面的严重限制,该方法生成全新的应用领域以及具备银标注和槽描述的对话。该方法用于创建 D0T 数据集以训练零 - shot DST 模型,该数据集涵盖了 1000 多个领域。在 MultiWOZ 基准测试中进行的实验表明,使用多样化合成数据训练模型可以改善 + 6.7% 的联合目标准确率,达到与更大模型相竞争的结果。
May, 2024
通过设计双提示学习框架,利用预训练语言模型的语言理解和生成能力,将对话状态跟踪任务高效地转化为一项语言建模任务,提高了低资源情况下对话状态跟踪的效率。实验证明,该方法优于现有的少样本学习方法,并且可生成未见过的槽位。
Jan, 2022
我们将零样本对话状态跟踪转化为少样本对话状态跟踪,通过联合和自我训练方法利用目标域中的无标签数据。该方法通过辅助任务生成槽类型作为主要任务的逆提示,在联合训练期间创建槽值。这两个任务之间的循环一致性使得能够生成和选择未知目标域中的高质量样本,以进行后续的微调。此方法还有助于自动标签创建,从而优化对话状态跟踪模型的训练和微调。我们在零样本场景中的大型语言模型上展示了该方法的有效性,在 MultiWOZ 的所有领域中,平均联合目标准确率提高了 8%。
Oct, 2023
提议使用前缀专家混合(MoPE)建立不同领域中类似插槽之间的联系,从而增强零样本对话状态跟踪(DST)模型在未见领域中的迁移性能,实证结果表明 MoPE-DST 在 MultiWOZ2.1 上达到 57.13% 的联合目标精度和在 SGD 上达到 55.40% 的精度。
Apr, 2024
本文提出一种用于数据有效且准确实现目标领域适应的测试时适应问题解决方案 (Data-efficient Prompt Tuning,DePT),其使用镜像学习方式将交互式提示信息细化到视觉 Transformer 模型中,在测试时自适应调整模型引用的提示以提升模型对目标域的表示,且具有适用于许多测试适应问题的能力。
Oct, 2022
通过元学习在对话领域稳定模型,设计新的训练方法改进检索机制寻找理想的示例,在句子长度有限的情况下,使用显著性模型限制对话文本长度,从而在 MultiWOZ 上实现了具有竞争力的少样本对话状态跟踪结果。
Feb, 2023
研究了一种基于生成型问答和条件语言模型的不需要本体的 Dialog State Tracking 方法,具有较好的领域迁移效果。
Jan, 2021