EMNLPOct, 2023

HierarchicalContrast：一个用于跨领域零样本槽位填充的粗到精对比学习框架

PDF
TL;DR在任务导向的对话场景中，跨领域零样本槽填充在利用源领域知识学习高泛化能力模型的同时，在未标注数据的未知目标领域中起到至关重要的作用。然而，现有最先进的零样本槽填充方法在目标领域中的泛化能力有限，只对已见槽显示有效的知识转移，在未见槽上表现不佳。为了缓解这一问题，我们提出了一种新颖的分层对比学习框架（HiCL）用于零样本槽填充。具体而言，我们提出了一种基于高斯分布嵌入的粗细粒度对比学习方法，以学习语句标记之间的广义深层语义关系，通过优化之间和之内的标记分布距离。这促使 HiCL 在训练阶段泛化到未见的槽类型上。此外，我们提出了一种新的迭代标签集语义推断方法，可以不偏不倚地分别评估在先前的零样本槽填充评估方法中与它们的对应槽类型相纠缠的未见槽类型的性能。对四个数据集的广泛经验性实验证明，所提出的方法的性能与当前最先进的零样本槽填充方法相当甚至更好。
task-oriented dialoguezero-shot slot fillinghierarchical contrastive learning frameworkdeep semantic relationsiterative label set semantics inference
发现论文，激发创造
  • 通过基于原型对比学习和标签混淆构建至目标领域的桥梁：重探零样本学习在槽填充中的应用

    本文提出了一种基于原型对比学习和动态标签混淆策略的零样本槽位填充方法，能够有效地解决现有方法在目标领域中无法实现有效知识转移，无法处理目标领域中未知槽位的问题。实验结果表明，本文提出的方法在未知槽位方面取得了显著改进，并在槽位填充任务中创造了新的技术水平。

    Oct, 2021

  • 反事务提示的领域跨度槽位填充的生成式零样本提示学习

    零 - shot 跨领域槽填充的生成式零 - shot 提示学习框架，通过反向提示策略区分不同槽类型以避免多重预测问题，以及通过训练更少的提示参数来提高性能，证明了我们提出的框架的有效性，尤其是在未见过的槽上有巨大的提升（+13.44% F1）。

    Jul, 2023

  • 具有示例值的强韧的零样本跨领域隙槽填充

    在面对数据量缺乏的多领域任务型对话系统中，本文提出一种结合了槽位值示例及其描述信息的学习方法，从而得到可在不同领域中迁移的槽位语义表示，并在两个多领域数据集上实现了比最先进方法更好的效果表现。

    Jun, 2019

  • 基于语言丰富和上下文感知的零样本槽位填充

    提出了一种新的零射击槽填充神经模型 LEONA，通过利用语言特征、命名实体识别提示、预训练语言模型的上下文嵌入，从而获得领域无关的上下文感知表示，通过三步骤 fine-tunes 产生独立于槽的标签，并使用可推广的上下文感知语句 - 槽相似特征将其上下文化以产生每个单词的针对特定槽的预测，总体而言，在 SNIPS、ATIS、MultiWOZ 和 SGD 数据集上，从未见过的领域平均表现优于 SOTA 模型 17.52％、22.15％、17.42％ 和 17.95％

    Jan, 2021

  • 自适应端到端度量学习用于零样本跨领域槽填充

    基于深度学习和大规模标注数据，本论文提出了一种适应性的端到端度量学习方案，用于解决零样本槽填充的挑战性问题，并通过级联式联合学习框架、上下文感知软标签表示和槽级对比表示学习方法，有效地缓解了数据和标签转移问题，实验证明了该方法优于其他竞争基线模型。

    Oct, 2023

  • 领域扩展的零样本帧语义分析

    本文提出了一种基于深度学习的方法，利用多任务学习中的槽位描述来快速启动新领域的语义解析模型，解决了对话系统领域扩展问题，同时消除了手动注释数据或显式模式对齐的需求，并在多个领域的实验中展现出显著的槽位填充性能优化。

    Jul, 2017

  • 自监督协同训练实现开放领域槽位填充

    这篇论文提出了一个名为 SCot 的自我监督协同训练框架，它需要零个领域内手动标记的训练例子，并且通过引入三个阶段来最小化性能差距，证明了在开放域槽填充中可行性，通过使用伪标签和自我监督强化三个阶段的性能，SCot 在 SGD 和 MultiWoZ 数据集上的性能比现有的模型分别提高了 45.57％和 37.56％。

    Mar, 2023

  • 面向跨语言口语理解的标签感知多层对比学习

    本研究提出一个基于对话、槽位和单词水平的对比学习框架来显式对齐跨语言口语理解中隐含语义结构的多语种混合方法，通过引入硬负样本和标签关联联合模型，取得了两个零 - shot 跨语言口语理解的基准数据集中显著的性能改进。

    May, 2022

  • Coach：一种用于跨领域槽填充的粗到细的方法

    本文提出了一种用于跨域槽填充的『粗到细』方法，通过检测令牌是否是槽实体来学习槽实体的一般模式，然后预测槽实体的具体类型，并通过基于话语模板的表示正则化来提高适应鲁棒性。实验结果表明，该模型在槽填充和命名实体识别任务上显著优于现有方法，并具有更好的跨域适应性能。

    Apr, 2020

  • HiCL: 无监督句子嵌入的分层对比学习

    本文提出了一种层次对比学习框架 HiCL，它考虑了局部分段级和全局序列级关系以提高训练效率和效果。通过将序列分为几个分段，并应用局部和全局对比学习来建模分段级和序列级关系，HiCL 提高了其效果。此外，考虑到输入标记上的 transformers 的二次时间复杂度，在获得序列表示之前，HiCL 通过首先对短分段进行编码，然后将它们聚合起来来提高训练效率。大量实验证明，HiCL 提升了之前表现最好的 SNCSE 模型在七种广泛评估的 STS 任务上的性能，BERT-large 平均提升了 + 0.2%，RoBERTa-large 提升了 + 0.44%。

    Oct, 2023