- CroPrompt: 交叉任务交互提示的零样本口语理解
在口语理解中,插槽填充和意图检测是两个高度相关的任务。最近的研究尝试探索利用大型语言模型中的零样本提示技术来缓解数据稀缺问题。然而,现有的提示工作忽略了口语理解中任务间交互信息,导致性能不佳。为了解决这个问题,我们提出了交互式多任务提示(C - 多层次多粒度对比学习驱动口语理解
提出了一种多级多粒度的语音语义理解(SLU)框架 MMCL,应用对比学习在话语级、槽位级和词级三个层级上,实现意图和槽位之间的互相引导,通过对公开的多意图 SLU 数据集的实验结果和进一步分析,证明了模型取得了新的最先进结果,在 MixAT - 使用状态转换图和大型语言模型模拟任务导向型对话
该研究探讨了 SynTOD,一种用于开发端到端任务导向对话系统的新型合成数据生成方法,该方法能够处理意图分类、槽填充、对话问答和检索增益响应生成等复杂任务,而无需依赖众包或现实世界的数据。实验结果显示,使用受图引导的响应模拟能够显著提高意图 - COLINGILLUMINER: 基于指令调整的大型语言模型作为少量样本意图分类器和插槽填充器
通过使用 Instruct-LLMs 模型,我们将意图分类和槽位填充视为语言生成任务,并且相比于现有方法,我们的方法在槽位填充方面表现出色,与 GPT3.5 (175B) 的上下文学习相比,在槽位填充任务中提高了 11.1-32.2 个百分 - 稳健语言模型的提示扰动一致性学习
大型语言模型对于自然语言处理任务表现出色,但在序列标注任务(如意图分类和槽位填充)中的表现明显落后于判别模型。本文通过 fine-tuning 大型语言模型并使用一种有效的减小性能下降的方法,Prompt Perturbation Cons - Noise-BERT:噪音对齐预训练的统一扰动鲁棒框架用于噪音槽位填充任务
提出了一种噪声对齐预训练的统一扰动鲁棒框架 Noise-BERT,用于解决对话系统中输入干扰对槽填充任务的挑战,通过引入对槽蒙版预测和句子噪声判别两个噪声对齐预训练任务,以提高语言模型对准确槽信息和噪声分布的抓取能力,并通过对比学习损失和敌 - 少样本意图分类与槽位填充的表示和知识分离
通过解耦普遍语义表示相关与特定领域知识相关的经验,将 Few-shot 意图分类和槽填充任务中的域特定知识传递与其他经验分开,显著提升性能。
- JPIS:面向基于配置文件的意图检测与槽位填充的联合模型及槽位到意图的注意力
JPIS 模型利用支持的个人资料信息增强了基于个人资料的意图检测和槽位填充的性能,并引入了槽位到意图的注意机制,从而取得了超过先前模型的性能,在中文基准数据集 ProSLU 上建立了最新的最佳性能。
- 基于大型语言模型的语音场景填槽
该研究探讨了大型语言模型在具有噪声 ASR 转录的槽位填充中的潜在应用,通过上下文学习和任务特定的微调,提出了专门的提示设计和微调方法来提高大型语言模型在具有噪声 ASR 转录的槽位填充中的鲁棒性。此外,还提出了一种线性化知识注入方案,将动 - EMNLP自适应端到端度量学习用于零样本跨领域槽填充
基于深度学习和大规模标注数据,本论文提出了一种适应性的端到端度量学习方案,用于解决零样本槽填充的挑战性问题,并通过级联式联合学习框架、上下文感知软标签表示和槽级对比表示学习方法,有效地缓解了数据和标签转移问题,实验证明了该方法优于其他竞争基 - 智能家居助手的意图检测和槽位填充:孟加拉和锡尔赫提语的数据集和分析
我们的研究通过引入首个全面的数据集,针对正式孟加拉语、口头孟加拉语和锡尔赫蒂语中的意图检测和槽填充,总计 984 个样本,涵盖 10 个独特的意图。分析表明,大型语言模型在处理数据不足的下游任务方面具有鲁棒性。GPT-3.5 模型在口头孟加 - I$^2$KD-SLU:一种用于零样本跨语言口语语言理解的内外知识蒸馏框架
我们提出了一种用于零样本跨语言口语理解的 Intra-Inter 知识蒸馏框架(I$^2$KD-SLU),该框架模拟了意图和槽位之间的相互引导,在 MultiATIS++ 数据集上显著提高了性能并取得了新的最优结果。
- 可解释准确的自然语言理解:为语音助手及其它应用而设计
将完全的联合 NLU 模型在粒度级别上‘本质地’可解释化,以提高准确性,并在情感分析和命名实体识别等其他广义分类任务中成功应用。
- 联合多种意图检测和槽位填充的受监督对比学习和自蒸馏方法
我们提出了一种通过双向联合模型以及监督对比学习和自我蒸馏的训练方法来解决多意图检测和槽填充问题,并且实验证明该方法在这两个任务中的表现优于最先进的模型。
- 通过预训练语言模型探测和多层对比学习实现槽位归纳
在本研究中,我们研究了无需显式标注的词级槽位注释的情况下,用于识别 Task-oriented Dialogue Systems 中的槽位边界的槽位感知(Slot Induction)任务,并提出利用无监督预训练语言模型(PLM)探测和对比 - LaDA:用于零样本跨语言神经网络语言建模的潜在对话动作
这篇论文提出了一种新的 LaDA 模型,在跨语言自适应的语音理解系统中使用潜在对话动作层来优化解码策略,以提高对复杂多语言意图和槽值的处理能力,并在零样本和少样本适应方面取得了最先进的结果。
- 利用预训练的 ASR 编码器进行有效和高效的端到端语音意图分类和槽填充
通过使用预训练的语音识别(ASR)编码器来初始化端到端(E2E)Conformer-Transformer 模型,本文研究了语音意图分类和槽填充(SICSF),该模型在 SLURP 数据集上实现了新的最高准确度结果,意图准确率为 90.14 - 基于语音知识的有限标注数据生成式槽位填充
该研究提出了一种基于知识和语音的生成式和填槽框架 KA2G,用于任务导向性对话系统,它可以通过将其作为文本生成任务打框架来实现语音交互式的稳健且高效的填槽。
- 多轮对话数据的三级联合自然语言理解
我们提出了一种新颖的三级联合自然语言理解方法,加入了领域信息,并在所有级别之间体现了语义信息的交换,从而使得我们的模型在多轮数据集上的单词级别的意图检测和插槽填充方面优于现有的联合模型,并且通过分析我们得出,包含领域信息可以提高模型的性能。
- 通用多意图条件槽位填充
本文提出了一种更普适的槽位填充方法,通过将其视为 JSON 生成任务,并使用语言模型进行处理。本文结合 DBpedia 和现有的槽位填充数据集以及 GPT-3 生成属于该领域的数据集,使用 T5 模型进行训练,并发现加入 prompt 后两