本研究提出了一种新的减少训练数据量的语音理解模型，在预训练中通过预测单词和音素来学习关键特征，并使用新的 SLU 数据集 Fluent Speech Commands 进行实验以测试泛化能力。

Apr, 2019

本文探讨了使用 ASR 模型和 NLU 文本资源作为初始化及数据增广的方法，用以训练一个端到端的语音 - to - 意图系统，以减少数据稀疏问题。在实验中，作者通过改进后的 CTC-S2I 系统，使其与传统的级联式 SLU 系统具有相当的匹配性能。

Oct, 2020

本文研究了直接将语音输入转换为语义实体的端到端口语理解系统，探索了这些端到端系统是否可以仅使用语义实体注释进行训练，并且使用注意力机制的编码器 - 解码器模型的效果最佳。

Sep, 2020

文章提出了一种使用语音合成生成大规模合成数据集的方法，以克服要求领域内语音数据记录的问题，并在两个开源数据集上进行实验证明该方法在作为训练数据的唯一来源和数据扩充形式时的有效性。

Oct, 2019

本文介绍了利用两类 E2E 模型（RNN 转录器和基于注意力的编码器 - 解码器）进行口语语言理解系统的语义实体预测的研究，以及提出的一种数据增强技术和一种隐式注意力对齐方法来推断口语顺序，从而提高 E2E SLU 模型的性能。相较于以前报导的结果，F1 分数显著提高了超过 11％（对于 RNN-T）和约 2％（对于基于注意力的编码器 - 解码器）。

Jan, 2022

本文研究语音识别与文本命名实体识别的端到端模型，研究使用未标注文本数据和数据增强技术来提高实体识别的性能。通过引入自学习、知识蒸馏和迁移学习等方法，该文发现这些技术在资源受限的情况下可以提高实体识别的性能。同时，本文展示了相比于之前的工作，这些方法在 F1 分数方面提高了长达 16% 的表现。

Dec, 2021

研究探索低资源语言环境下，使用拼音转录进行意图分类的方法构建基于语音理解系统，并发现相较于使用语音特征的系统，使用拼音转录的系统具有显著的分类性能提升。

May, 2022

本文提出了一种基于半监督学习的、使用预先训练的端到端自动语音识别（E2E ASR）和自监督语言模型（如 BERT）进行微调的通用语义理解框架，该框架可从转录或未转录的语音中直接学习语义来解决一些 SLU 模型中的问题，如 ASR 错误、意图预测而不是词槽预测以及在大量训练数据不足的情况下训练。实验结果表明，该框架对于语义理解可以与使用 Oracle 文本作为输入的模型相媲美，具有良好的环境噪声鲁棒性，并且在训练集有限的情况下也能达到较好的效果。

Oct, 2020

通过训练一个转换文本数据的潜在合成器，我们提出了一种高效的文本数据利用框架 Latent Synthesis (LaSyn)，用于 E2E 语音处理模型。在低资源自动语音识别（ASR）和口语理解（SLU）任务中，LaSyn 通过为模型训练提供了伪声学表示的文本数据，分别在不同测试集上使 E2E 基线的词错误率降低了 22.3% 以上，并提高了意图分类准确率 4.1% 和槽位填充准确率 3.8%，在 STOP 上分别提高了 4.49% 和 2.25% 的准确率。同时，LaSyn 使用更少的参数，取得了与现有最先进作品相媲美的结果，证明了增强训练数据的质量。

Oct, 2023

本文提出了一种多任务联合训练的端到端语音理解模型 “Audio-Text All-Task (AT-AT) Model”，该模型能够同时训练语音转文字、语音理解和文本理解任务，不仅可以在多个数据集上实现最优性能，还可用于零 - shot 端到端语音理解任务。

Dec, 2020