不放过任何音高：通过调整音高解决自动语音识别中的性别不平衡问题

Oct, 2023

不放过任何音高：通过调整音高解决自动语音识别中的性别不平衡问题

No Pitch Left Behind: Addressing Gender Unbalance in Automatic Speech Recognition through Pitch Manipulation

Dennis Fucci, Marco Gaido, Matteo Negri, Mauro Cettolo, Luisa Bentivogli

TL;DR通过使用一个数据增强技术，我们可以减轻性别偏见问题，在语音识别系统中模拟女性说话者的声音，增加各性别组内的变异性，并显著提高女性说话者的识别准确性。

Abstract

automatic speech recognition (ASR) systems are known to be sensitive to the sociolinguistic variability of speech data, in which gender plays a crucial role. This can result in disparities in recognition accuracy between male and female speakers, primarily due to the under-representati

automatic speech recognition gender bias data augmentation voice manipulation speech variability

发现论文，激发创造

自动语音识别中的偏见量化

本文旨在检测 ASR 系统中存在的性别、年龄、方言和非母语口音等方面引起的偏见，提出针对 ASR 开发的偏见缓解策略，主要关注数据集中由发音差异导致的各种偏见。

Mar, 2021

揭示歌声转录中的性别公平

通过使用属性预测器对韵律事件进行条件对齐，我们提出了一种减少性别偏见的方法，在不降低整体歌唱声音转录性能的情况下，显著减少了性别偏见，从而提供更好的公平性 - 实用性权衡。

Aug, 2023

自动语音识别系统为什么不更具包容性？：自动语音识别系统的偏见及其缓解方法。一篇文献综述

本研究针对自动语音识别的性别、种族、病残等偏见现象，探讨为缓解这些歧视提出的去偏见技术，并讨论设计更具通用性和包容性的语音识别技术。对于每种探讨方法，本文提供研究摘要、应用方法和研究结果，并强调其优点和 / 或缺点。最后，还提出了自然语言处理研究人员应在下一级别的 ASR 技术创新方面探索的未来机会。

Nov, 2022

多语言语音模型在自动语音识别中表现出性别性能差距

多任务、多语种模型在语音识别中的广泛应用，虽然适用于多种语言，但仍存在在性别间表现差异的问题。我们通过系统评估多语种 ASR 系统在性别表现差异上的问题，并发现了明显的性别差异。在 19 种语言的三个数据集上，我们使用两种流行的模型，跨越了七个语系。尽管在声调、说话速度等语音学变量方面没有显著差异，并且模型内部状态的分析显示探针性能与性别差异之间存在负相关。也就是说，在一个语言中更容易区分说话者性别时，模型更倾向于女性说话者。我们的研究结果表明，尽管多任务和多语种方面取得了很大进展，但性别间的差异问题仍未解决。我们提供了有价值的首批关于多语种 ASR 系统性别差距评估的见解。我们将所有代码和相关资料发布在此 https URL

Feb, 2024

针对数据有限的发音不清和口音不标准的个性化 ASR

本文提出并评估了微调技术，以提高自动语音识别系统对非标准语音的识别准确性，特别关注两种非标准语音：肌萎缩侧索硬化症患者的言语和带口音的言语，并训练出个性化模型，相对于标准语音，相对词错误率能提高 62％和 35％，仅五分钟的训练就能带来 71％的提升，微调部分层的结果往往比微调整个模型更好，是构建肌无力性言语最先进的自动语音识别模型的第一步。

Jul, 2019

波斯幼儿语音评估的自动语音识别

介绍了一种新的针对学前儿童语音测试的方法，通过加入 Random Frequency Pitch 目标到 Wav2Vec 2.0 模型的屏蔽目标中，在 Persian CommonVoice 数据集上达到了仅有 1.35 的字错误率，并在零次和少次测试中达到了积极的成果。

Mar, 2022

自监督语音转文本系统中性别影响的研究

本研究使用法语作为研究语言，通过比较不同性别平衡的预训练数据集在 ASR 和 ST 中的表现来探究其影响。结果表明，性别平衡的预训练模型不一定导致最佳结果，并且使用自监督模型作为特征提取器时，ASR 和 ST 的结果会遵循更复杂的模式。

Apr, 2022

利用数据增强提高低资源语音识别的准确性

研究发现，利用自训练及文本转语音增广训练数据可以有效提高低资源语种的 ASR 性能，为解决数据稀缺问题提供了一种高效解决方案。

May, 2023

使用 Common Voice 数据集建立公平的语音识别系统

本文使用法语 Common Voice 数据集对 wav2vec~2.0 模型的偏见进行计量，通过对多种固定大小的、精心制作的训练集进行微调，证明了演讲者多样性的重要性，并对 Common Voice 语料库进行了彻底分析，发现了应该被这个数据集的用户考虑的重要缺陷。

Jun, 2023

NPTEL MOOC 数千个视频间的单词错误率差异的深入研究

本研究描述了一个庞大的语音数据集的构建过程，并利用该数据集评估了印度不同演讲者的性别、籍贯、年龄和语速对 YouTube 自动字幕和 OpenAI Whisper 模型性能的影响。结果表明需要更具包容性和鲁棒性的 ASR 系统以及更具代表性的数据集进行差异性评估。

Jul, 2023