失传于转录：识别和量化自动语音识别系统对不流利语音的准确性偏差

ACLMay, 2024

失传于转录：识别和量化自动语音识别系统对不流利语音的准确性偏差

Lost in Transcription: Identifying and Quantifying the Accuracy Biases of Automatic Speech Recognition Systems Against Disfluent Speech

PDF

Dena Mujtaba, Nihar R. Mahapatra, Megan Arney, J. Scott Yaruss, Hope Gerlach-Houck...

TL;DR这项研究评估了六个领先的自动语音识别系统对有语吃现象的言语的处理性能，并发现这些系统普遍存在的准确性偏差对不流利言语的处理，导致语法和语义不准确的转录，揭示了当前自动语音识别技术存在的重要差距，强调了有效的偏见缓解策略的必要性。

Abstract

automatic speech recognition (ASR) systems, increasingly prevalent in education, healthcare, employment, and mobile technology, face significant challenges in inclusivity, particularly for the 80 million-strong g

automatic speech recognition inclusivity people who stutter speech patterns bias mitigation strategies

发现论文，激发创造

自动语音识别中的偏见量化

本文旨在检测 ASR 系统中存在的性别、年龄、方言和非母语口音等方面引起的偏见，提出针对 ASR 开发的偏见缓解策略，主要关注数据集中由发音差异导致的各种偏见。

Mar, 2021

自动语音识别系统为什么不更具包容性？：自动语音识别系统的偏见及其缓解方法。一篇文献综述

本研究针对自动语音识别的性别、种族、病残等偏见现象，探讨为缓解这些歧视提出的去偏见技术，并讨论设计更具通用性和包容性的语音识别技术。对于每种探讨方法，本文提供研究摘要、应用方法和研究结果，并强调其优点和 / 或缺点。最后，还提出了自然语言处理研究人员应在下一级别的 ASR 技术创新方面探索的未来机会。

Nov, 2022

面向非流畅语音的包容性自动语音识别：级联大规模自监督学习与目标微调和数据增强

自动语音识别系统通常在处理口吃相关的流畅性障碍时出现故障，而这些故障包括意愿性中断和单词重复，从而导致不准确的转录。我们提出了一种包容性的 ASR 设计方法，利用标准语音的大规模自我监督学习，然后通过对较小的策划语音数据集进行有针对性的微调和数据增强来解决此问题。我们的数据增强技术可以通过增加各种不流畅性来丰富训练数据集，增强对这些语音模式的 ASR 处理。结果表明，即使是对于一个相对较小的标记数据集，结合数据增强，通过微调 wav2vec 2.0 也可以显著降低不流畅语音的单词错误率。我们的方法不仅推动了面向口吃者的 ASR 包容性，而且为能够适应更广泛的语音变化的 ASR 铺平了道路。

Jun, 2024

口语阅读准确性自动评估于阅读诊断

本研究通过使用 ASR 技术自动评估荷兰语口头阅读准确度，证明采用手动正字法转录和阅读测试数据中的阅读错误进行语言模型可以提高评估性能。

Jun, 2023

自动识别未转录语音中的干扰

说话不流畅现象，如填充式停顿或重复，是典型言语流畅的干扰。本文研究语言、声学和多模态方法在自动裁剪检测和分类中的应用，发现基于声学的方法在性能上超过语言方法，同时引入多模态结构提升了检测性能。这些创新方法有助于将自动裁剪检测应用于各种应用场景。

Nov, 2023

探究自动语音识别系统对 L2 英语语音变异的敏感性

使用一种探测方法，发现了 ASR 系统处理在 L2 英语方言中的发音差异时，出现了声素级别的错误并产生了更高的 WER。这项工作系统地说明了 ASR 的行为，通过确定特定问题的物质来源来提高 ASR 的准确性。

May, 2023

失败的另一面：探究语音识别误差对随后痴呆症分类的影响

研究使用自我监督学习的深度学习自动语音识别模型在临床设置中处理话语自然性上的困难，并探讨产生的错误对痴呆分类下游任务准确性的影响。结果表明，相对高错误率的自动语音识别系统可以产生更好的下游分类精度而非字面上的听写结果。

Nov, 2022

基于 ASR 转录的语音情感识别：关于词误率和融合技术的全面研究

使用不同词错误率（WERs）的 ASR 转录对 IEMOCAP，CMU-MOSI 和 MSP-Podcast 等已知语料库进行 SER 性能评估，同时提出了一个统一的 ASR 错误抗干扰框架，并与最佳表现的 ASR 转录进行比较，实现了更低的 WER 和更高的 SER 结果，为 SER 与 ASR 协助的研究提供了洞见。

Jun, 2024

利用 Detect and Pass 增强有限数据的口吃语音 ASR

为解决语音助手对口吃 (Speech Disorder) 人士不友好的问题，研究提出了一种简单高效的称为 “Detect and Pass” 的算法，它通过一个上下文相关的对口吃音频帧分类器，对口吃的音频进行筛选，再将这些筛选的结果传递到 ASR 模型中提高其错误率的鲁棒性。该研究表明在不同的 ASR 系统上，WER 的降低幅度达到了 23.93% 到 71.67%.

Feb, 2022

ASTER：面向口吃者的自动语音识别系统可访问性测试

提供一种用于测试和分析自动语音识别系统性能的测试用例生成方法，该方法通过模拟真实的口吃语音并注入多种不同类型的口吃来生成有效的测试用例，并在评估中明显增加了评估的 ASR 系统的词误差率、匹配错误率和词信息损失。

Aug, 2023