研究使用自我监督学习的深度学习自动语音识别模型在临床设置中处理话语自然性上的困难，并探讨产生的错误对痴呆分类下游任务准确性的影响。结果表明，相对高错误率的自动语音识别系统可以产生更好的下游分类精度而非字面上的听写结果。

Nov, 2022

本文研究如何使强 NMT 系统适应典型 ASR 错误，并提出适应策略以训练单一系统，能够在无监督输入类型的情况下翻译干净或嘈杂的输入。通过公共演讲翻译数据集的实验结果表明，对包括 ASR 转录本的大量并行数据进行调整对于相同类型的测试数据是有益的，但在翻译干净文本时会产生轻微恶化。 在干净和嘈杂数据的同一数据上进行调整可以在两种输入类型上产生最佳结果。

Oct, 2019

我们提出了一种可靠的方法来收集语音转录，通过在标注阶段进行置信度估计重新处理和在标注后进行自动词错误校正来提高转录质量。我们发布了 LibriCrowd—— 一个包含 100 小时英语语音的大规模众包数据集。实验结果显示，转录错误率降低了 50% 以上。我们进一步研究了转录错误对 ASR 模型性能的影响，并发现了强相关性。转录质量的提高可以使 ASR 模型的错误率下降 10% 以上。我们将数据集和代码发布给研究社区，以造福广大研究者。

Sep, 2023

该研究通过智能家居自动化指令在乌尔都语中考察了自动语音识别（ASR）鲁棒的自然语言理解（NLU）模型从受控实验条件到实际应用的可迁移性，并评估了模型在不同噪声环境、语言变化和 ASR 错误场景下的性能。利用乌尔都 BERT 模型，研究采用了系统的方法论，包括实际数据收集、交叉验证、迁移学习、噪声变化研究和领域适应。评估指标涵盖特定任务的准确性、延迟、用户满意度和对 ASR 错误的鲁棒性。研究结果揭示了 ASR 鲁棒的 NLU 模型在超越受控环境方面所面临的挑战和适应性。

Jan, 2024

利用 n-best 列表提示方法，我们改善了基于大型语言模型的口语理解任务，使其能够更好地理解口语意图并应用于基于语音的应用。

Sep, 2023

为了评估 ASR 误差下 NLU 系统的性能，本研究提出了 ASR-GLUE benchmark，包括 6 个不同的 NLU 任务，以及声音特点和噪声等级的变化。研究结果表明，基于数据增强和纠错的方法可以在一定程度上提高 NLU 系统的鲁棒性，但仍需要进一步研究。

Aug, 2021

采用自监督离散单元并将目标语言数据转化为人工翻译的语言模拟数据的 back translation for speech-to-text translation（BT4ST）方法，可有效解决资源不足情境下进行端到端语音转文本翻译的问题。

May, 2023

本文介绍了将自然语言处理的特性应用于口语语言理解上，包括不同的话语特征和多模态表现。该文尝试拆解口语的语言障碍和多重意思，并探讨了 BERT 和 RoBERTa 语言模型对 SLU 的适应性和局限性。文中还验证了语言模型对话语特征的表现，尤其是对于声学提示较少的语音模型的成果。

Sep, 2021

这项研究评估了六个领先的自动语音识别系统对有语吃现象的言语的处理性能，并发现这些系统普遍存在的准确性偏差对不流利言语的处理，导致语法和语义不准确的转录，揭示了当前自动语音识别技术存在的重要差距，强调了有效的偏见缓解策略的必要性。

May, 2024

本文研究了基于现有自然语言理解模型的语音助手中由自动语音识别误差引起的性能损失，并提出一种多模态语言理解模块，利用自监督学习从语音和文本模态中获取特征，最终通过对音频信号和文本传输进行编码来获得更好的性能。

Jun, 2023