自适应端到端度量学习用于零样本跨领域槽填充
在面对数据量缺乏的多领域任务型对话系统中,本文提出一种结合了槽位值示例及其描述信息的学习方法,从而得到可在不同领域中迁移的槽位语义表示,并在两个多领域数据集上实现了比最先进方法更好的效果表现。
Jun, 2019
本文提出了一种基于原型对比学习和动态标签混淆策略的零样本槽位填充方法,能够有效地解决现有方法在目标领域中无法实现有效知识转移,无法处理目标领域中未知槽位的问题。实验结果表明,本文提出的方法在未知槽位方面取得了显著改进,并在槽位填充任务中创造了新的技术水平。
Oct, 2021
提出了一种新的零射击槽填充神经模型 LEONA,通过利用语言特征、命名实体识别提示、预训练语言模型的上下文嵌入,从而获得领域无关的上下文感知表示,通过三步骤 fine-tunes 产生独立于槽的标签,并使用可推广的上下文感知语句 - 槽相似特征将其上下文化以产生每个单词的针对特定槽的预测,总体而言,在 SNIPS、ATIS、MultiWOZ 和 SGD 数据集上,从未见过的领域平均表现优于 SOTA 模型 17.52%、22.15%、17.42% 和 17.95%
Jan, 2021
零 - shot 跨领域槽填充的生成式零 - shot 提示学习框架,通过反向提示策略区分不同槽类型以避免多重预测问题,以及通过训练更少的提示参数来提高性能,证明了我们提出的框架的有效性,尤其是在未见过的槽上有巨大的提升(+13.44% F1)。
Jul, 2023
在任务导向的对话场景中,跨领域零样本槽填充在利用源领域知识学习高泛化能力模型的同时,在未标注数据的未知目标领域中起到至关重要的作用。然而,现有最先进的零样本槽填充方法在目标领域中的泛化能力有限,只对已见槽显示有效的知识转移,在未见槽上表现不佳。为了缓解这一问题,我们提出了一种新颖的分层对比学习框架(HiCL)用于零样本槽填充。具体而言,我们提出了一种基于高斯分布嵌入的粗细粒度对比学习方法,以学习语句标记之间的广义深层语义关系,通过优化之间和之内的标记分布距离。这促使 HiCL 在训练阶段泛化到未见的槽类型上。此外,我们提出了一种新的迭代标签集语义推断方法,可以不偏不倚地分别评估在先前的零样本槽填充评估方法中与它们的对应槽类型相纠缠的未见槽类型的性能。对四个数据集的广泛经验性实验证明,所提出的方法的性能与当前最先进的零样本槽填充方法相当甚至更好。
Oct, 2023
本文提出了一种基于深度学习的方法,利用多任务学习中的槽位描述来快速启动新领域的语义解析模型,解决了对话系统领域扩展问题,同时消除了手动注释数据或显式模式对齐的需求,并在多个领域的实验中展现出显著的槽位填充性能优化。
Jul, 2017
本文研究了针对对话语言理解的 few-shot 联合学习,提出了一种基于相似度的 few-shot 学习方案 ConProm, 能够从少量样例捕捉任务关系并联合学习多个任务。在 Snips 和 FewJoint 两个公开数据集上的实验结果表明,该方案表现出比强基线模型更好的性能。
May, 2021
本研究提出一种基于 Zero-Shot Adaptive Transfer 方法的领域自适应对话代理模型,通过利用槽位描述信息实现可重用概念在领域之间的迁移,并避免了显式概念对齐的训练复杂度,实验结果表明此模型在多达 10 个领域的数据集上性能显著优于之前的最优系统,特别在低数据情况下表现更出色。
Aug, 2018
这篇论文提出了一个名为 SCot 的自我监督协同训练框架,它需要零个领域内手动标记的训练例子,并且通过引入三个阶段来最小化性能差距,证明了在开放域槽填充中可行性,通过使用伪标签和自我监督强化三个阶段的性能,SCot 在 SGD 和 MultiWoZ 数据集上的性能比现有的模型分别提高了 45.57%和 37.56%。
Mar, 2023
在标准监督学习设置中,假设训练数据和测试数据来自相同的分布(领域)。领域泛化(DG)方法旨在学习一个模型,该模型在多个领域的数据上训练时可以推广到新的未见领域。我们将 DG 扩展到了一个更具挑战性的领域,其中未知领域的标签空间也可能发生变化。我们将此问题称为零射领域泛化(据我们所知,这是第一个这样的尝试),其中模型不仅可以在新的领域之间推广,还可以在这些领域中的新类之间推广。我们提出了一种简单的策略,该策略有效地利用了类的语义信息,以使现有的 DG 方法满足零射领域泛化的要求。我们在 CIFAR-10、CIFAR-100、F-MNIST 和 PACS 数据集上评估了所提出的方法,为这个新的研究方向奠定了坚实的基础。
Aug, 2020