本文研究了基于递归神经网络的联合模型在口语理解（SLU）中的应用，实验结果显示其在意图检测和语义插槽填充任务中表现良好，在嘈杂语音输入场景下也具有较好的性能。
Sep, 2016
本文介绍了一些简单而有效的模型，以从自动语音识别模块获取的N（N为一个任意数）-best解释中共同挖掘语音信号的语义信息，提高现代口语理解系统的性能。
Jan, 2020
本论文介绍了一种基于端到端的神经网络转换器，可以在不需要中间层令牌预测架构的情况下，在音频信号中预测嵌入式变长域、意图和插槽向量，可高效提取所述话语所隐含的语义上下文。
Aug, 2020
本文提出了基于SLU度量标准的非可区分序列损失作为语义误差的代理，并使用REINFORCE技巧训练ASR和SLU模型。作者展示了自定义序列损失训练在开放SLU数据集上的最新技术水平，并在大型专有数据集上显示了6％的相对改进，同时提高了ASR和NLU性能指标。作者还展示了如何使用语义反馈单独更新ASR和SLU模型。
Feb, 2021
使用自动语音识别提供的多个文本替代方案，采用简化的表述方式，通过 transformer 模型 BERT 和 XLM-RoBERTa 对 N-best 替代方案的连接作为输人，提高了 Spoken Language Understanding 系统的性能。
Jun, 2021
本文介绍了一种基于可预训练的差分可训练模型和使用 Transformer 的层次化系统的语音识别模型，旨在提高其在商用语音助理中的应用性能。实验表明，与基准系统相比，在一些神经网络模型和数据集之上达到了较好的表现。在对数据进行了重新标注并进行了人工评估后，本文提出的方法的语义准确率得到了大幅提高，这显示出本文提出的方法在商用语音助理中的应用价值。
本文提出了一种可流式传输的多任务语义转换器模型，通过自回归的方式预测ASR和NLU标签，并使用语义解码器聚合以前预测的字块和槽标签，从而优化了E2E SLU模型，且在ASR和NLU指标上表现优于传统的两阶段E2E SLU模型。
Apr, 2022
本文提出了一种新颖的基于推理的端到端（E2E）口语语音理解（SLU）方法，通过在自动语音识别（ASR）的文本和音频嵌入上进行条件控制，流式传输的ASR模型产生第一步的假设并由第二步的自然语言理解（NLU）组件生成语义解析。
本文研究了一种结合ASR和NLU功能的语音意图理解技术，将单个Conformer模型的不同组件以不同的方式进行组合，研究了各种方法的优劣，并提出了一种新的CTS方法来提高端到端模型的准确性和处理速度，相对于最佳的两阶段SLU识别方法，在计算成本更低的情况下达到了同样的意图准确率。
本文研究了利用深度神经网络的端到端口语理解模型(E2E SLU)在非英语智能家居背景下使用的语言特性，证明了优良的E2E SLU表现并不总是需要完美的ASR能力，并且E2E模型相较于传统管道模型在处理背景噪声和语法变异等方面有更出色的性能。该研究还发现，E2E模型通过音调信息识别语音命令概念。
Jul, 2022