基于提示池的逐步增加分类的对话状态跟踪
通过设计双提示学习框架,利用预训练语言模型的语言理解和生成能力,将对话状态跟踪任务高效地转化为一项语言建模任务,提高了低资源情况下对话状态跟踪的效率。实验证明,该方法优于现有的少样本学习方法,并且可生成未见过的槽位。
Jan, 2022
我们探讨了基于任务导向的对话系统的对话信念状态跟踪(DST)问题。通过以 Prompt 为基础进行少样本学习,我们证明了 Prompt-based 方法在 DST 的 Few-shot 学习中具有潜在的潜力,并提供了未来改进的方向。
Apr, 2022
该论文研究了如何在对话管理中跟踪用户的信念,通过使用软提示令牌嵌入来学习任务属性,可以显著减少先前工作所需的参数数量,同时实现更好的低资源对话状态跟踪性能。
Jan, 2023
利用 Progressive Prompts 方法解决语言模型领域中的连续学习问题,它以前向传递为基础,无需数据重放或大量的任务特定参数,并且其推动学习的方式有助于抵御灾难性遗忘,实验表明相对于 T5 模型的最佳方法,平均测试准确性提高了 20% 以上,即使在较长序列的任务中,我们的方法也明显优于之前的方法。
Jan, 2023
为了构建更健壮可靠的对话系统,通过引入基于提示的学习方法,自动生成有效的对抗例子来探究对话状态跟踪器 (DST);实验表明该框架可在保持良好流畅度和低扰动比的情况下,对现有最先进的 DST 造成最大准确度降低和最好的攻击成功率。
Jun, 2023
DualPrompt 提出了一种无需 rehearsal buffer 的连续学习框架,通过学习使用预先训练好的模型进行有序任务学习的任务不变和任务特定的指示来达到目的,表现出卓越的性能。
Apr, 2022
提出了利用动态提示 (L2P) 来训练更简洁的神经网络内存系统的方法,以管理任务不变和任务特定知识,从而在各种挑战性的图像分类基准测试中取得了比之前最先进方法更好的结果。
Dec, 2021
本文介绍了一种无需复盘的延续学习新范式,称为分层提示(H-Prompts),包括三类提示 - 类提示、任务提示和通用提示。通过贝叶斯分布对齐来刻画过去类别的知识,通过跨任务知识挖掘来减少过去任务知识的遗忘,并利用自监督方式推导出高度概括的通用知识。在两个基准测试中,证明了所提出的 H-Prompts 的高效性,分别在 Split CIFAR-100 上达到了 87.8%的平均准确率,以及在 Split ImageNet-R 上达到了 70.6%的准确率。
Jan, 2024
通过元学习在对话领域稳定模型,设计新的训练方法改进检索机制寻找理想的示例,在句子长度有限的情况下,使用显著性模型限制对话文本长度,从而在 MultiWOZ 上实现了具有竞争力的少样本对话状态跟踪结果。
Feb, 2023