Mar, 2024
语音鲁棒性基准测评：一个语音识别鲁棒性评估基准
Speech Robust Bench: A Robustness Benchmark For Speech Recognition
Muhammad A. Shah, David Solans Noguero, Mikko A. Heikkila, Nicolas Kourtellis
TL;DR自动语音识别模型在物理世界和数字世界中的多样化损坏下进行可靠预测的鲁棒性评估是至关重要的。我们提出了一个全面的基准测试工具 Speech Robust Bench (SRB) 来评估 ASR 模型在各种损坏条件下的鲁棒性。通过使用 SRB 评估顶尖 ASR 模型的鲁棒性，我们观察到模型大小、离散表示以及自我训练等建模选择对于鲁棒性有积极影响。我们还进一步测量 ASR 模型在不同社会群体（如英语和西班牙语使用者，男性和女性）的数据上的鲁棒性，并观察到鲁棒性在不同群体之间存在明显差异。我们相信 SRB 将有助于推动鲁棒 ASR 模型的未来研究，使全面且可比较的鲁棒性评估更加容易进行。