Feb, 2022

基于半监督深层聚类的文本意图挖掘管道

PDF
TL;DR使用 VIM，我们基于无监督和半监督集成流程、深层语言模型引导的并行 k - 近邻图建模法及社区探测技术，探测客户服务对话文本中的目的和主题，支持快速发掘和组织有关用户意图，提高数据分析师的工作效率，进而减少在新领域中构建和部署智能虚拟助手所需的时间和成本。
intent miningintelligent virtual assistantsunsupervised and semi-supervised clusteringhigh performing language modelsbert
发现论文，激发创造
  • 一种自适应深度聚类管道以在规模上通知文本标记

    使用 Verint Intent Manager 中的聚类管道，将语言模型的微调和社区检测技术集成在一起，从而提高了数据分析师设计和改进 Intelligent Virtual Assistants 的效率和能力，并在三个真实世界的文本挖掘任务中表现出良好的性能和可扩展性。

    Feb, 2022

  • 从过去的对话中挖掘意图信息以供会话代理使用

    本文提出了意图发现框架，通过自动聚类类似用户话语并手动注释，再通过对未被聚类映射的话语标记意图标签和标记传播，从原始对话中生成意图训练数据，以有效地解决在聊天机器人开发过程中遇到的用户话语分类问题，并验证了该框架的有效性。

    May, 2020

  • 超越研究数据集：工业场景下的新意图发现

    本文提出了一种用于大型电子商务平台的意图发现流程改进方法，该方法利用了领域内数据的自我监督和弱监督预训练语言模型，以及利用现实生活数据的对话结构进行微调的最佳方法，并使用所有这些方法结合使用，使真实生活数据的使用比仅使用问题数据的 CDAC 模型效果提高了多达 33pp。

    May, 2023

  • 利用可提取问答变换器构建实际谈话语料库的意图模式

    本研究提出了一种无监督的自动化 pipeline，基于问答模型和聚类方法，能够从真实的对话数据中抽取意图并建立意图分组分类体系，验证结果表明该方法能够解决自然语言理解中的意图识别问题，实现了超过 85% 的区分准确度。

    Aug, 2022

  • 针对任务导向对话的意图归纳相关话语嵌入和聚类方法分析

    本文探讨了无监督方法来克服任务导向对话结构设计的基本挑战：为每个对话轮分配意图标签（意图聚类）和生成一组基于意图聚类方法的意图（意图归纳），并且通过比较不同的 clustering 算法和嵌入方法，表明对于意图归纳任务，应当仔细考虑句子嵌入和聚类方法的组合选择，同时 MiniLM 和聚合聚类结构在意图归纳任务中显示出显著的性能提升。

    Dec, 2022

  • 半监督交互式意图标注

    展示了一个基于 BERT 模型的 Intent Bulk Labeling 系统，通过使用先进的聚类和可视化标注方法，与数据增强技术相结合，提高了 SDS 模型的意图和分类准确度达到超过 10% 的效果。同时，该系统还可从聚类模型提取话语嵌入并以交互方式进行批量标记，减少了数据标注的时间和精力消耗。

    Apr, 2021

  • 基于多阶段粗 - 细对比学习的对话意图识别

    本文提出了一个多阶段的粗到细对比学习模型训练方案，用于联合对比学习和聚类在任务导向的对话中识别意图，该方法在 DSTC11 跟踪 2 评估结果中排名第一。

    Mar, 2023

  • 生成多个新意图检测的高质量数据点的框架

    本论文提出了一种基于聚类的框架 --MNID（多新意图检测），用于检测多个新出现的新意图，在人力预算有限的情况下更高效地重训练基础分类器，实验结果表明 MNID 在准确性和 F1 分数上优于基线方法。

    May, 2022

  • 利用对比学习的半监督聚类发现新意图

    DCSC 是一种半监督的文本聚类方法，可对话系统中的文本样本进行聚类，通过两阶段训练过程利用标记样本，取得最佳聚类性能，从而在文本归类方面取得了最佳性能。

    Jan, 2022

  • 行业级别自然语言理解半监督学习

    研究介绍了一个基于学生 - 教师框架的半监督学习 (SSl) 生产管道，利用数百万未标记的示例来改善自然语言理解 (NLU) 任务，并调查了两个与未标记数据在生产 SSL 环境中的使用相关的问题：1）如何选择从大量未标记数据池中受益于 SSL 培训的样本，2）选定数据如何影响不同的最先进的 SSL 技术的性能。结合委员会选择和子模块优化选择两种数据选择方法，比较了四种广泛使用的 SSL 技术，包括伪标签 (PL)、知识蒸馏 (KD)、虚拟对抗训练 (VAT) 和交叉视图训练 (CVT)。我们进一步探讨了这些技术在意向分类 (IC) 和命名实体识别 (NER) 任务中的优缺点，并提供了指导方针，指定每种方法何时可能有益于改善大规模 NLU 系统。

    Mar, 2021