使用潜变量发现新意向

Oct, 2022

Discovering New Intents Using Latent Variables

Yunhua Zhou, Peiju Liu, Yuxin Wang, Xipeng QIu

TL;DR本文提出了一种概率框架，通过将意图分配视为潜在变量，探索无标签数据的内在结构，从而发现新意图，并在已知意图的基础上，采用期望最大化算法，通过优化标记数据的区分度来减少来自已知意图的遗忘。在三组具有挑战性的真实世界数据集上进行了广泛的实验，证明了该方法的实际效果。

Abstract

Discovering new intents is of great significance to establishing Bootstrapped Task-Oriented Dialogue System. Most existing methods either lack the ability to transfer prior knowledge in the known intent data or fall into the dilemma of forgetting prior knowledge in the follow-up. More

intents probabilistic framework latent variables expectation maximization real-world datasets

发现论文，激发创造

从过去的对话中挖掘意图信息以供会话代理使用

本文提出了意图发现框架，通过自动聚类类似用户话语并手动注释，再通过对未被聚类映射的话语标记意图标签和标记传播，从原始对话中生成意图训练数据，以有效地解决在聊天机器人开发过程中遇到的用户话语分类问题，并验证了该框架的有效性。

May, 2020

使用预训练和对比学习进行新意图发现

本研究提出一种新的意图发现方法，通过多任务预训练和对比损失优化聚类来学习语义表述以扩展对话系统中支持的意图类别。实验结果表明，该方法在半监督和无监督场景下均优于现有方法。

May, 2022

面向对话文本的开放意图发现

该文提出了 “开放式意图发现” 任务并提出了双向 LSTM+CRF 模型、自注意力、对抗训练等新方法，在真实数据集上进行实验，证明了该方法的有效性并达到了领先水平。

Apr, 2019

利用解释作为潜在变量实现可解释的自然语言理解

本文提出了一种可解释自然语言理解的框架，使用一小部分人类注释的解释进行训练，并采用变分 EM 方法进行优化，同时提出了基于解释的自训练方法，在两个自然语言理解任务上进行实验，证明了该框架不仅可以在监督和半监督设置下进行有效的预测，还可以生成良好的自然语言解释。

Oct, 2020

基于间隔损失的深度未知意图检测

本文提出了一种两阶段的新颖用户意图检测方法，使用 BiLSTM 网络和边界损失作为特征提取器，然后将特征向量馈送给密度基新颖性检测算法 LOF，对于两个基准数据集的实验表明，与基线方法相比，我们的方法可以产生一致的改进。

Jun, 2019

超越研究数据集：工业场景下的新意图发现

本文提出了一种用于大型电子商务平台的意图发现流程改进方法，该方法利用了领域内数据的自我监督和弱监督预训练语言模型，以及利用现实生活数据的对话结构进行微调的最佳方法，并使用所有这些方法结合使用，使真实生活数据的使用比仅使用问题数据的 CDAC 模型效果提高了多达 33pp。

May, 2023

潜在意图对话模型

这篇论文提出了一种使用离散潜在变量来处理自然语言对话场景的深度学习模型，通过使用强化学习进行自动学习和提高表现，相对于传统方法，其能更准确地捕捉自然交互变异性，可广泛应用于人工智能领域。

May, 2017

通过深度对齐聚类发现新意图

该论文提出了一种基于少量先前标记样本预训练模型来发现新意图、使用 k - 均值产生伪标签、并提出了一种对齐策略来解决聚类分配过程中标签不一致问题的方法，最终在众多测试中表现更为鲁棒且优于现有方法。

Dec, 2020

自然语言处理中的潜在结构学习：综述

该论文介绍了在自然语言处理和机器学习中，为了提高模型性能和解释性，学习离散结构的方法。论文提出了三种主要的方法：代理梯度、连续松弛和基于采样的边缘似然最大化，最终总结了这些方法的应用和学习的潜在结构的检查。

Jan, 2022

IntenDD: 一种统一对比学习方法用于意图检测和发现

使用对比学习策略和修改的吸附法模型，IntenDD 方法通过共享的话语编码骨干来实现任务导向的对话系统中对意图的识别，并在多个任务中实现了显著的性能提升。

Oct, 2023