COLINGMay, 2024

多意图 NLU 的两阶段预测感知对比学习框架

PDF
TL;DR我们提出了一个用于多意图自然语言理解的两阶段预测感知对比学习（PACL）框架，通过整合词级预训练和预测感知对比微调的方式充分利用共享意图信息，从而构建更好的嵌入空间。我们构建了一个词级数据增强策略的预训练数据集，然后在对比微调过程中动态分配实例角色，并引入预测感知对比损失以最大化对比学习的影响。我们在三个广泛使用的数据集上进行了实验和实证分析，结果表明我们的方法在低数据和完整数据场景下均超过三个突出的基准模型的性能。
发现论文，激发创造
  • 使用预训练和对比学习进行新意图发现

    本研究提出一种新的意图发现方法，通过多任务预训练和对比损失优化聚类来学习语义表述以扩展对话系统中支持的意图类别。实验结果表明，该方法在半监督和无监督场景下均优于现有方法。

    May, 2022

  • 多层次多粒度对比学习驱动口语理解

    提出了一种多级多粒度的语音语义理解（SLU）框架 MMCL，应用对比学习在话语级、槽位级和词级三个层级上，实现意图和槽位之间的互相引导，通过对公开的多意图 SLU 数据集的实验结果和进一步分析，证明了模型取得了新的最先进结果，在 MixATIS 数据集上的整体准确率相比之前最好的模型提高了 2.6 个百分点。

    May, 2024

  • 多意图口语理解的协同引导

    提出了一种名为 Co-guiding Net 的新模型，采用两阶段框架实现了两个任务之间的相互引导，并且通过异构图注意网络有效地表示语义节点和标签节点之间的关系，并进一步利用对比学习提高模型性能。

    Nov, 2023

  • 基于多阶段粗 - 细对比学习的对话意图识别

    本文提出了一个多阶段的粗到细对比学习模型训练方案，用于联合对比学习和聚类在任务导向的对话中识别意图，该方法在 DSTC11 跟踪 2 评估结果中排名第一。

    Mar, 2023

  • 基于提示的多意图口语理解统一框架

    本研究提出了 Prompt-based Spoken Language Understanding（PromptSLU）框架，通过提供通用的预训练 Seq2Seq 模型，将意图检测（ID）和槽位填充（SF）两个子任务统一为同一形式。实验结果表明，该框架在两个公共数据集上表现优于现有的一些最先进模型。

    Oct, 2022

  • 基于对比度预训练和微调的小样本意图检测

    本文提出了一种对于细粒度、语义相似的意图进行 Few-shot 检测的方案，使用了对比自监督预训练和有监督对比学习的组合方式，在三种不同的具有挑战性的 Few-shot 意图检测数据集上实验，获得了最先进的表现。

    Sep, 2021

  • 面向跨语言口语理解的标签感知多层对比学习

    本研究提出一个基于对话、槽位和单词水平的对比学习框架来显式对齐跨语言口语理解中隐含语义结构的多语种混合方法，通过引入硬负样本和标签关联联合模型，取得了两个零 - shot 跨语言口语理解的基准数据集中显著的性能改进。

    May, 2022

  • 多模态不确定性感知视觉 - 语言预训练模型

    本文通过概率分布编码器（PDE）将所有模态的表示作为概率分布映射，对不确定性建模，提出了基于概率分布的预训练任务并在视觉和语言联合任务上实现了最先进的结果。

    Oct, 2022

  • 一种多级有监督对比学习框架用于低资源自然语言推断

    本文提出了一种多级有监督对比学习框架 MultiSCL，该框架使用句子级和对级对比学习目标，在低资源自然语言推理任务中区分不同分类的句对。MultiSCL 采用数据增强模块和交叉注意力模块来获取对级表示，经实验证明，在低资源设置中，MultiSCL 的准确率比其他模型平均高 3.1％，且在文本分类的跨域任务中优于以前的最新方法。

    May, 2022

  • 自然语言推理的对偶级别监督对比学习

    本文提出一种基于对偶句子级别的监督对比学习（PairSCL）方法，采用交叉注意力机制学习句子对的联合表示，并使用对比学习目标来区分不同类别的句子对，在两个公共 NLI 数据集上，PairSCL 的准确性平均优于其他方法 2.1％，并在文本分类的七个转移任务上超过了先前的最新方法。

    Jan, 2022