ACLMay, 2022

使用预训练和对比学习进行新意图发现

PDF
TL;DR本研究提出一种新的意图发现方法，通过多任务预训练和对比损失优化聚类来学习语义表述以扩展对话系统中支持的意图类别。实验结果表明，该方法在半监督和无监督场景下均优于现有方法。
intent discoverydialogue systemrepresentation learningclusteringsemi-supervised learning
发现论文，激发创造
  • IntenDD: 一种统一对比学习方法用于意图检测和发现

    使用对比学习策略和修改的吸附法模型，IntenDD 方法通过共享的话语编码骨干来实现任务导向的对话系统中对意图的识别，并在多个任务中实现了显著的性能提升。

    Oct, 2023

  • 基于多阶段粗 - 细对比学习的对话意图识别

    本文提出了一个多阶段的粗到细对比学习模型训练方案，用于联合对比学习和聚类在任务导向的对话中识别意图，该方法在 DSTC11 跟踪 2 评估结果中排名第一。

    Mar, 2023

  • 基于对比度预训练和微调的小样本意图检测

    本文提出了一种对于细粒度、语义相似的意图进行 Few-shot 检测的方案，使用了对比自监督预训练和有监督对比学习的组合方式，在三种不同的具有挑战性的 Few-shot 意图检测数据集上实验，获得了最先进的表现。

    Sep, 2021

  • 通过深度对齐聚类发现新意图

    该论文提出了一种基于少量先前标记样本预训练模型来发现新意图、使用 k - 均值产生伪标签、并提出了一种对齐策略来解决聚类分配过程中标签不一致问题的方法，最终在众多测试中表现更为鲁棒且优于现有方法。

    Dec, 2020

  • 利用对比学习的半监督聚类发现新意图

    DCSC 是一种半监督的文本聚类方法，可对话系统中的文本样本进行聚类，通过两阶段训练过程利用标记样本，取得最佳聚类性能，从而在文本归类方面取得了最佳性能。

    Jan, 2022

  • 超越研究数据集：工业场景下的新意图发现

    本文提出了一种用于大型电子商务平台的意图发现流程改进方法，该方法利用了领域内数据的自我监督和弱监督预训练语言模型，以及利用现实生活数据的对话结构进行微调的最佳方法，并使用所有这些方法结合使用，使真实生活数据的使用比仅使用问题数据的 CDAC 模型效果提高了多达 33pp。

    May, 2023

  • 面向对话文本的开放意图发现

    该文提出了 “开放式意图发现” 任务并提出了双向 LSTM+CRF 模型、自注意力、对抗训练等新方法，在真实数据集上进行实验，证明了该方法的有效性并达到了领先水平。

    Apr, 2019

  • 多意图 NLU 的两阶段预测感知对比学习框架

    我们提出了一个用于多意图自然语言理解的两阶段预测感知对比学习（PACL）框架，通过整合词级预训练和预测感知对比微调的方式充分利用共享意图信息，从而构建更好的嵌入空间。我们构建了一个词级数据增强策略的预训练数据集，然后在对比微调过程中动态分配实例角色，并引入预测感知对比损失以最大化对比学习的影响。我们在三个广泛使用的数据集上进行了实验和实证分析，结果表明我们的方法在低数据和完整数据场景下均超过三个突出的基准模型的性能。

    May, 2024

  • 从过去的对话中挖掘意图信息以供会话代理使用

    本文提出了意图发现框架，通过自动聚类类似用户话语并手动注释，再通过对未被聚类映射的话语标记意图标签和标记传播，从原始对话中生成意图训练数据，以有效地解决在聊天机器人开发过程中遇到的用户话语分类问题，并验证了该框架的有效性。

    May, 2020

  • 为广义目的发现解耦伪标签消歧和表示学习

    提出了一种解耦伪标签消除和表示学习的原型学习框架 (DPL)，并采用基于原型的标签消歧方法（PLD）和基于对比的原型表示学习（PCL）来获得鲁棒性更强的意图发现算法，实验证明方法在三个基准数据集上具有有效性。

    May, 2023