泛零样本音频到意图分类

Nov, 2023

Generalized zero-shot audio-to-intent classification

Veera Raghavendra Elluru, Devang Kulshreshtha, Rohit Paturi, Sravan Bodapati, Srikanth Ronanki

TL;DR利用仅有每个意图几个样本文本句子的泛化零样本音频到意图分类框架，该框架使用只有音频的数据，通过训练有监督的音频到意图分类器和利用神经音频合成器生成音频嵌入，使用余弦相似度对未见过的意图进行泛化零样本分类，并通过多模态训练策略将词汇信息融入音频表征来提高泛化零样本性能。相较于仅使用音频训练，我们的多模态训练方法提高了 SLURP 和内部目标导向对话数据集上未见过的意图的零样本意图分类准确率分别为 2.75％和 18.2％。

Abstract

spoken language understanding systems using audio-only data are gaining popularity, yet their ability to handle unseen intents remains limited. In this study, we propose a generalized →

spoken language understanding audio-only data zero-shot audio-to-intent classification neural audio synthesizer multimodal training strategy

发现论文，激发创造

基于模板的零 - shot 意图识别方法

探讨了用于意图识别的广义零射击模式，并使用句子对建模方法，通过任务转移进一步提高性能，使用语境编码器的预训练技术使模型适用于主要且适应不断变化的应用。

Jun, 2022

基于语义嵌入的零样本音频分类

本文通过使用从声音类别的文本标签和句子描述中提取的语义嵌入来进行零样本学习音频分类，并采用双线性兼容性框架在音频实例和声音类别之间学习声学 - 语义投影，即声学嵌入和语义嵌入。最终采用线性兼容性函数进行音频分类，其中度量声学嵌入和语义嵌入的兼容性。通过实验结果表明：“label/sentence embeddings” 与不同语言模型生成的嵌入的混合连接的分类结果进一步改善了分类性能。

Nov, 2020

基于表征的元学习用于少样本语音意图识别

本文提出了一种利用元学习范式的 few-shot 口语意图分类方法，通过基于表示的元学习获取 utterances 的任务无关表示，然后使用线性分类器进行预测，在 Google Commands 和 Fluent Speech Commands 数据集上实验表明，该方法可以实现对新类别进行准确分类的性能。

Jun, 2021

在零样本音频字幕中使用音频 - 语言模型引导和音频上下文关键词

ZerAuCap 是一个新的框架，利用预训练的大型语言模型来生成既不需要任务特定训练，又能描述音频内容的文本标注，通过预先训练的音频 - 语言模型指导语言模型生成内容与音频相关的文本，使用音频上下文关键词来生成广义的文本，在 AudioCaps 和 Clotho 数据集中实现了最先进的结果。

Nov, 2023

一种简单的元学习范式，用混合注意机制进行零样本意图分类

本文提出了一种简单而有效的元学习范式，采用多种混合注意力机制来提取更好的话语特征，采用元学习策略来提高模型的泛化能力，从而在标准和广义零 - shot 意向分类任务上优于其他强基线

Jun, 2022

利用非成对文本数据训练端到端语音意图系统

本文探讨了使用 ASR 模型和 NLU 文本资源作为初始化及数据增广的方法，用以训练一个端到端的语音 - to - 意图系统，以减少数据稀疏问题。在实验中，作者通过改进后的 CTC-S2I 系统，使其与传统的级联式 SLU 系统具有相当的匹配性能。

Oct, 2020

对话语言理解的零射击自适应转移

本研究提出一种基于 Zero-Shot Adaptive Transfer 方法的领域自适应对话代理模型，通过利用槽位描述信息实现可重用概念在领域之间的迁移，并避免了显式概念对齐的训练复杂度，实验结果表明此模型在多达 10 个领域的数据集上性能显著优于之前的最优系统，特别在低数据情况下表现更出色。

Aug, 2018

基于胶囊神经网络的零样本用户意图识别

本文提出了两种基于胶囊网络的架构，分别为 INTENT-CAPSNET 和 INTENTCAPSNET-ZSL，可用于用户意图检测问题。使用这些模型可以在没有标记的语句的情况下检测出新兴的用户意图。在两个真实世界数据集上的实验证明了该模型的有效性。

Sep, 2018

探索零样本和小样本技术用于意图分类

本文探讨了在低资源环境下使用领域适应、数据增强、零样本分类以及参数高效的微调等四种方法来解决对话 NLU 提供商在扩展到数千个意图分类模型时遇到的存储空间限制问题，结果表明这些方法对于不同程度的低资金环境下效果有效，在使用 T-few 配方提出的参数高效昆虫微调语言模型的 Flan-T5 上获得了最佳性能，即使只有一个样本每意图。我们还展示了使用意图描述促进 LLM 的零样本方法。

May, 2023

零样本学习的联合意图和槽位标记

通过零样本学习的方法，实现了目的性对话系统中的意向分类和槽位标注任务。研究表明，将意向和槽位之间的依赖关系建模，以及通过神经网络将单词和句子转换成嵌入空间，是提高任务准确性的关键因素。

Nov, 2022