Jun, 2023

使用 Common Voice 数据集建立公平的语音识别系统

PDF
TL;DR本文使用法语 Common Voice 数据集对 wav2vec~2.0 模型的偏见进行计量，通过对多种固定大小的、精心制作的训练集进行微调，证明了演讲者多样性的重要性，并对 Common Voice 语料库进行了彻底分析，发现了应该被这个数据集的用户考虑的重要缺陷。
automatic speech recognitionneural network trainingself-supervised learningbiasspeaker diversity
发现论文，激发创造
  • CommonAccent：基于 Common Voice 的大型声学预训练模型探索口音分类

    本文介绍了使用 ECAPA-TDNN 和 Wav2Vec 2.0 / XLSR 体系结构进行多语言口音分类的简单操作方法，并以 Common Voice 数据集为基础，在英语、意大利语、德语和西班牙语上建立了新的最先进的英语口音分类。结果表明，将口音信息与 ASR 框架的其他部分相结合可以减轻口音识别错误。

    May, 2023

  • 自监督语音转文本系统中性别影响的研究

    本研究使用法语作为研究语言，通过比较不同性别平衡的预训练数据集在 ASR 和 ST 中的表现来探究其影响。结果表明，性别平衡的预训练模型不一定导致最佳结果，并且使用自监督模型作为特征提取器时，ASR 和 ST 的结果会遵循更复杂的模式。

    Apr, 2022

  • 自动说话人识别中的偏差

    本文通过 VoxCeleb 说话人识别挑战的案例，深入实证研究和分析机器学习的发展过程中的偏差问题，发现每个开发阶段都存在偏差，建议采取实践性措施和未来研究方向以缓解这一问题。

    Jan, 2022

  • 公平 LENS：评估执法语音识别中的公平性

    为了确保在不同的音响环境中为不同的人群提供公平性，我们建立了一个系统性的公平评估框架，通过一种新颖且适应性强的评估方法来检查不同模型之间的公平差距，并收集了多种情景和人口学维度的公平评估数据集。我们对 1 个开源和 11 个商业化最先进的 ASR 模型进行了公平评估，结果显示某些模型比其他模型存在更多偏见，这对用户在选择适合特定实际场景的 ASR 模型时提供了公平性指导。我们进一步探讨了模型对特定人口群体的偏见，并观察到音响领域的变化可能导致新的偏见出现。

    May, 2024

  • 多领域训练提高口音语音识别

    本文致力于提高自动语音识别系统的准确性与泛化能力，运用多种口音以构建微调数据集用以提高模型的鲁棒性，同时展示多领域数据集优化效果。

    Mar, 2023

  • 使用预训练模型的自适应多语言语音识别

    使用预训练的 wav2vec 2.0 和 MBART50 模型，结合自适应权重技术，显著提高公共数据集上多语言语音识别的准确性，比纯监督学习提高 44%。同时我们还探索了如何通过微调结构以获得最佳模型。

    May, 2022

  • NPTEL MOOC 数千个视频间的单词错误率差异的深入研究

    本研究描述了一个庞大的语音数据集的构建过程，并利用该数据集评估了印度不同演讲者的性别、籍贯、年龄和语速对 YouTube 自动字幕和 OpenAI Whisper 模型性能的影响。结果表明需要更具包容性和鲁棒性的 ASR 系统以及更具代表性的数据集进行差异性评估。

    Jul, 2023

  • 面向特定领域语音识别的深度学习系统

    使用预训练的 DeepSpeech2 和 Wav2Vec2 声学模型，提出了基于领域的语音自动识别系统，并通过半监督机器注释的方式收集领域特定的数据，研究结果表明，该系统即使在具有更高的字词错误率的情况下，性能仍优于商业自动语音识别系统，且在人工转录的结果上也呈现出类似的效果。同时，也探讨了使用自动语音识别文字转录来辅助口语理解的可行性。

    Mar, 2023

  • 通过无监督聚类提高端到端语音识别的公平性和鲁棒性

    本文提出了使用保护隐私的方法来提高自动语音识别的公平性和鲁棒性，通过利用无监督学习从发音级别语音特征中提取得到语音聚类中心作为训练模型的额外特征，实现对任何人群的提高，特别是在不同口音情境下显示出明显改进。

    Jun, 2023

  • 自动语音识别中的偏见量化

    本文旨在检测 ASR 系统中存在的性别、年龄、方言和非母语口音等方面引起的偏见，提出针对 ASR 开发的偏见缓解策略，主要关注数据集中由发音差异导致的各种偏见。

    Mar, 2021