本文质疑了现代自动语音识别系统在基准数据集上达到极低词错误率的报告，同时比较了三种最先进的商用自动语音识别系统在现实生活中的人类对话和公共基准测试中的表现，并得出结论：WERs 显著高于最佳报告结果。我们制定了一组准则，可帮助创建高质量注释的现实生活中多领域数据集，以训练和测试强大的 ASR 系统。

Oct, 2020

本文介绍了一个收集英语盈利电话会议的语料库，旨在为评估现代自动语音识别系统的实际表现提供一个免费的现实世界参考标准，通过 4 个商业模型的比较，研究了地区口音对模型表现的影响，以及研究了 ASR 系统普遍出现的误差和关键语音特征对模型表现的影响。

Mar, 2022

本文致力于提高自动语音识别系统的准确性与泛化能力，运用多种口音以构建微调数据集用以提高模型的鲁棒性，同时展示多领域数据集优化效果。

Mar, 2023

通过提出一个 Speech 和 Text 综合考虑的 Error Explainable Benchmark 数据集，我们能够更全面地了解 ASR 模型的不足之处，消除系统的弱点，从而提高用户体验。

Jan, 2024

通过引入参考模型以作为测试条件困难性的代理，本研究提出了一个泛化性能评估框架，旨在准确评估具有嘈杂和混响特性的语音增强系统。通过在多个语音、噪声和 BRIR 数据库之间进行交叉验证，准确估计了泛化间隙，发现对于 FFNN、Conv-TasNet、DCCRN 和 MANNER 等模型而言，匹配语音条件下的性能最好，而在不匹配条件下，性能明显下降，甚至不如基于 FFNN 的系统。

Sep, 2023

自动语音识别模型在物理世界和数字世界中的多样化损坏下进行可靠预测的鲁棒性评估是至关重要的。我们提出了一个全面的基准测试工具 Speech Robust Bench (SRB) 来评估 ASR 模型在各种损坏条件下的鲁棒性。通过使用 SRB 评估顶尖 ASR 模型的鲁棒性，我们观察到模型大小、离散表示以及自我训练等建模选择对于鲁棒性有积极影响。我们还进一步测量 ASR 模型在不同社会群体（如英语和西班牙语使用者，男性和女性）的数据上的鲁棒性，并观察到鲁棒性在不同群体之间存在明显差异。我们相信 SRB 将有助于推动鲁棒 ASR 模型的未来研究，使全面且可比较的鲁棒性评估更加容易进行。

Mar, 2024

本研究旨在探讨在预训练和 fine-tuning 阶段数据属性存在实质性差异的情况下，在空中交通管制数据上分析 Wav2Vec 2.0 和 XLS-R 模型的鲁棒性，结果显示，通过只使用已标注数据的较小部分来对 E2E 声学模型进行 fine-tuning，相对于基于混合式 ASR 基线的声学模型，可以在几个开源且具有挑战性的 ATC 数据库中实现 20％至 40％的相对字错率降低，并分析了一种 ATC 数据集中的低资源和性别偏见的情况。

Mar, 2022

本文研究了预训练神经模型在自动语音识别中的鲁棒性，并对 wav2vec2，HuBERT 和 DistilHuBERT 进行了鲁棒性分析，发现它们在 LibriSpeech 和 TIMIT 数据集上对噪声的鲁棒性不同，同时进行了层次分析以预测每层的学习，通过误差传播和对比清晰和嘈杂的数据，验证了 Pasad 等人的预测，并提出未来研究的有趣方向。

Aug, 2022

该研究提出了一种新的模型评估指标 - WOOD 分数，以防止模型过拟合与其性能在 OOD 数据上的降解。

Jul, 2020

我们提出了一个综合的基准评估系统，用于评估各种音频表示学习方法在各种不同的音频分类领域上的能力，并发布了针对非语音音频的新预训练模型，以解决目前缺乏开源非语音音频预训练模型的问题。

May, 2024