ACLFeb, 2024

平衡的行动：揭示和缓解葡萄牙语 ASR 偏见

PDF
TL;DR本研究旨在全面探索 Whisper 和 MMS 系统，重点评估与葡萄牙语的非正式对话语音相关的自动语音识别中存在的偏见。我们的调查包含不同类别，包括性别、年龄、肤色和地理位置。除了传统的 ASR 评估指标（如词错误率 WER）外，我们还引入了 p 值统计显著性来分析性别偏见。此外，我们广泛研究了数据分布的影响，并实证表明过采样技术可以减轻此类刻板化偏见。本研究通过应用 MMS 和 Whisper 在葡萄牙语环境中量化偏见，对多语言设置下 ASR 系统性能有了更好的理解，是一项开创性的工作。
spoken language understandingwhispermmsautomatic speech recognitionbiases
发现论文，激发创造
  • 自动语音识别中的偏见量化

    本文旨在检测 ASR 系统中存在的性别、年龄、方言和非母语口音等方面引起的偏见，提出针对 ASR 开发的偏见缓解策略，主要关注数据集中由发音差异导致的各种偏见。

    Mar, 2021

  • 多任务多语言语音模型的高效压缩

    在这项研究中，我们发现了 Whisper 这个多任务和多语言语音模型在少数语言上的性能问题，并证明这是与讲话者特征及模型相关偏差有关。针对这个问题，我们提出了 DistilWhisper 方法，通过轻量级的模型微调和知识蒸馏策略，在保留了多任务和多语言预训练的鲁棒性的同时，有效地提升了目标语言的 ASR 性能。

    May, 2024

  • LoRA-Whisper: 参数高效且可扩展的多语言语音识别

    本文提出了 LoRA-Whisper 模型，通过将 LoRA 矩阵融入 Whisper，有效减轻多语种自动语音识别中的语言干扰，并通过利用 LoRA 和语言之间的相似性，在新语种上取得更好的性能，同时保持原有语种的稳定性。在涉及八种语言的真实任务实验中，我们的提出的 LoRA-Whisper 相对于基准系统分别在多语种自动语音识别和语言扩展方面获得了 18.5% 和 23.0% 的相对增益。

    Jun, 2024

  • 多语言语音模型在自动语音识别中表现出性别性能差距

    多任务、多语种模型在语音识别中的广泛应用，虽然适用于多种语言，但仍存在在性别间表现差异的问题。我们通过系统评估多语种 ASR 系统在性别表现差异上的问题，并发现了明显的性别差异。在 19 种语言的三个数据集上，我们使用两种流行的模型，跨越了七个语系。尽管在声调、说话速度等语音学变量方面没有显著差异，并且模型内部状态的分析显示探针性能与性别差异之间存在负相关。也就是说，在一个语言中更容易区分说话者性别时，模型更倾向于女性说话者。我们的研究结果表明，尽管多任务和多语种方面取得了很大进展，但性别间的差异问题仍未解决。我们提供了有价值的首批关于多语种 ASR 系统性别差距评估的见解。我们将所有代码和相关资料发布在此 https URL

    Feb, 2024

  • Whisper-MCE：用于混合语言更佳性能的 Whisper 模型微调

    本文介绍了 Whisper-MCE 模型在 minor language 和 mixed language 语音识别方面的卓越表现，同时提出一种新的评估机制以解决在这些语境下对其有效性进行评估时的挑战。通过将我们的模型与基线模型 whisper-large-v2 进行比较，我们展示了其准确捕捉原始音频内容、实现更高的识别准确率和更快的识别速度的卓越能力。值得注意的是，在识别 mixed language 的特定任务中，我们的模型超越了其他现有模型。

    Oct, 2023

  • 麦霍马乌纳伊卡艾：语言模型在夏威夷语自动语音识别中的改进

    改善低资源语言夏威夷语的自动语音识别（ASR）的挑战，通过将大量独立文本数据整合到 Whisper 基础模型中，我们采用约 1.5M 字的夏威夷文本数据训练了外部语言模型（LM）。然后，我们使用该语言模型对 Whisper 进行评分，并计算标记的夏威夷数据测试集的词错误率（WER）。实验结果显示，在用夏威夷语言模型重新评分 ASR 输出时，WER 有小幅但显著的改善。结果支持在开发代表性语言的 ASR 系统时利用所有可用数据。

    Apr, 2024

  • MaLa-ASR: 多媒体辅助的基于 LLM 的 ASR

    提出了基于 LLM 的 ASR 模型 MaLa-ASR，可以整合从演示文稿中提取的文本关键词来提高会议内容的识别率，通过在输入提示中添加关键词，可将有偏差的词错误率（B-WER）相对减少 46.0％和 44.2％，在该数据集上取得了新的 SOTA。

    Jun, 2024

  • 语言技术从业者作为语言管理者：在 ASR 中仲裁数据偏见和预测偏见

    该研究论文采用语言政策视角，分析了当前工业训练和测试自动语音识别系统的做法如何导致数据偏见和算法偏见，进而导致系统误差差异，并提出将语言资源重新构建为（公共）基础设施的建议。

    Feb, 2022

  • 将 ASR 基础模型用于口语评估的适应

    本文详细分析了 Whisper 输出，并提出了精细调整和软提示调整两种解决方案，实验证明我们可以有效地改变 Whisper 的解码行为，生成与口语回答中准确的单词。

    Jul, 2023

  • 将语音技术扩展至 1000 多种语言

    通过基于宗教文本的新数据集和有效利用自监督学习的方法，Massively Multilingual Speech（MMS）项目构建了包括 1406 种语言的预训练 wav2vec 2.0 模型、1107 种语言的单一多语言自动语音识别模型、以及相同数量的语音合成模型和 4017 种语言的语言识别模型。实验结果表明，我们的多语种语音识别模型在 FLEURS 基准测试的 54 种语言上使 Whisper 的单词错误率减少了一半以上，同时只使用了一小部分标记数据进行训练。

    May, 2023