Aug, 2022

Z-BERT-A: 未知意图识别的零 - shot 管道

PDF
TL;DR通过提出具有 Transformer 结构和 fine-tuning 在 NLI 任务中训练的 Z-BERT-A 的方法，能够在零样本设置下有效地执行意图发现任务，从而能够在线生成新的意图。
intent discoverynlptransformer architectureadapterszero-shot
发现论文，激发创造
  • 基于模板的零 - shot 意图识别方法

    探讨了用于意图识别的广义零射击模式，并使用句子对建模方法，通过任务转移进一步提高性能，使用语境编码器的预训练技术使模型适用于主要且适应不断变化的应用。

    Jun, 2022

  • 基于胶囊神经网络的零样本用户意图识别

    本文提出了两种基于胶囊网络的架构，分别为 INTENT-CAPSNET 和 INTENTCAPSNET-ZSL，可用于用户意图检测问题。使用这些模型可以在没有标记的语句的情况下检测出新兴的用户意图。在两个真实世界数据集上的实验证明了该模型的有效性。

    Sep, 2018

  • 泛零样本音频到意图分类

    利用仅有每个意图几个样本文本句子的泛化零样本音频到意图分类框架，该框架使用只有音频的数据，通过训练有监督的音频到意图分类器和利用神经音频合成器生成音频嵌入，使用余弦相似度对未见过的意图进行泛化零样本分类，并通过多模态训练策略将词汇信息融入音频表征来提高泛化零样本性能。相较于仅使用音频训练，我们的多模态训练方法提高了 SLURP 和内部目标导向对话数据集上未见过的意图的零样本意图分类准确率分别为 2.75％和 18.2％。

    Nov, 2023

  • AdaptKeyBERT: KeyBERT 的 Few-Shot 和 Zero-Shot 领域自适应的基于注意力机制方法

    该论文提出了 AdaptKeyBERT—— 一种基于 LLM 的关键词提取训练管道，它通过在下游领域适应的预训练阶段引入正则化注意力的概念来训练关键字提取器，具有 Few-shot Learning 和 Zero-Shot Learning 的潜在应用。

    Nov, 2022

  • Few-shot 自然语言理解统一 BERT

    该研究提出了 UBERT 模型，基于 BERT 框架，可以通过双向仿射网络对不同自然语言理解任务的训练对象进行普遍建模，并通过模型得分来实现各种分类和提取结构的通用、跨任务的语义理解。在 2022 年 AIWIN - 世界人工智能创新大赛中国保险小样本多任务跟踪中获得一等奖，并实现了广泛的信息提取和语言推理任务的统一。

    Jun, 2022

  • 学习类 - 转导意图表示以进行零样本意图检测

    本研究提出了一种利用未知类标签学习类转导意图表示（CTIR）的框架，该框架采用多任务学习目标和相似度评分器来改善现有的零样本意图检测系统不能识别未知意图的问题，并在两个真实数据集上获得了相当的性能提升。

    Dec, 2020

  • 一种简单的元学习范式，用混合注意机制进行零样本意图分类

    本文提出了一种简单而有效的元学习范式，采用多种混合注意力机制来提取更好的话语特征，采用元学习策略来提高模型的泛化能力，从而在标准和广义零 - shot 意向分类任务上优于其他强基线

    Jun, 2022

  • 探索零样本和小样本技术用于意图分类

    本文探讨了在低资源环境下使用领域适应、数据增强、零样本分类以及参数高效的微调等四种方法来解决对话 NLU 提供商在扩展到数千个意图分类模型时遇到的存储空间限制问题，结果表明这些方法对于不同程度的低资金环境下效果有效，在使用 T-few 配方提出的参数高效昆虫微调语言模型的 Flan-T5 上获得了最佳性能，即使只有一个样本每意图。我们还展示了使用意图描述促进 LLM 的零样本方法。

    May, 2023

  • BERT 用于联合意图分类和槽填充

    本文提出了一种基于 BERT 的联合意图分类和槽填充模型，实验证明相对于基于注意力的循环神经网络模型和槽门控模型，在几个公共基准数据集上，我们的模型在意图分类准确性、槽填充 F1 值和句级语义框架精度方面显著提高。

    Feb, 2019

  • 基于半监督深层聚类的文本意图挖掘管道

    使用 VIM，我们基于无监督和半监督集成流程、深层语言模型引导的并行 k - 近邻图建模法及社区探测技术，探测客户服务对话文本中的目的和主题，支持快速发掘和组织有关用户意图，提高数据分析师的工作效率，进而减少在新领域中构建和部署智能虚拟助手所需的时间和成本。

    Feb, 2022