ACLFeb, 2024

AccentFold：零点自适应目标口音的非洲口音之旅

PDF
TL;DR提出了 AccentFold 方法，通过利用学习到的口音嵌入之间的空间关系来提高自动语音识别（ASR）的性能，特别是在非洲口音的背景下。发现了 100 多种非洲口音之间的空间关系，强调了地理和谱系的相似性以及从语音中学到的一致的语音和形态学规律。通过实证评估，证明了 AccentFold 的有效性，对于未知分布的口音，基于 AccentFold 信息的训练样本提取优于强基准方法，相对字错误率（WER）改善了 4.6%。这一研究强调利用语言学关系来改善零样本 ASR 适应目标口音的潜力。
accented speechaccentfoldautomatic speech recognitionafrican accentslinguistic relationships
发现论文，激发创造
  • 跨口音语音识别上的快速适应学习

    研究了方言对同一语言单词发音的影响，提出了一种基于模型对抗元学习算法的跨方言英语语音识别任务，通过实验表明该方法显著优于联合训练。

    Mar, 2020

  • 带有特定口音码书的口音识别

    通过使用可训练的码书的交叉注意力，我们提出了一种针对终端到终端自动语音识别系统的新型口音适应方法，该方法可以捕捉特定口音的信息，并在 ASR 编码器层中进行集成。我们在包含未在训练过程中见过的口音的测试数据上进行训练，结果显示我们的方法不仅在已知的英语口音上获得显著性能提升（词错误率相对改进高达 37%），还在未知口音上获得了最高 5% 的相对改进。同时，我们还在 L2Artic 数据集上展示了零 - shot 传输设置的优势，并与基于口音对抗训练的其他方法进行了性能比较。

    Oct, 2023

  • 基于认识不确定性的数据选择，将预训练的 ASR 模型适应于低资源临床语音

    使用信息不确定性的数据选择方法可以减少成本并提高在稀缺数据情况下非洲口音临床自动语音识别的泛化性能，并优于现有最先进 ASR 模型

    Jun, 2023

  • 地理区域近似场景下的低资源口音分类：法庭和社会语音学视角

    本文探讨了不同语音机器学习模型及分类器在地方口音识别方面的应用，发现传统方法的性能也值得关注，并证实了一种新方法测量社会语音变化。

    Jun, 2022

  • 用于自动语音识别的合成跨口音数据增强

    本研究旨在改进口音转换模型，通过加入声学知识，提高模型对不同口音发音的准确性，采用生成数据训练 ASR 系统，实验结果表明，合成带有口音的数据有助于提高 ASR 系统对已见口音的语音理解，但不能推广到未见口音及纯母语模型上。

    Mar, 2023

  • 非自回归实时音调转换模型与语音克隆

    我们开发了一种实时语音转换模型，具备母语感、最小延迟生成和多样性切换音色、性别和语音口音的能力，从而提高语音质量，增强现有 ASR 系统的识别性能，并适用于实时多用户通信场景。

    May, 2024

  • 低资源端到端口音语音识别的多遍训练和交叉信息融合

    本研究提出了一种基于 Conformer 的架构，即 Aformer，利用大型非方言和有限口音训练数据从声学信息中提取互补的音频信息，并提出了多通道训练和三种跨信息融合方法，用于从 Aformer 的通用编码器和口音编码器中有效地融合信息，实验结果表明，该方法在口音英语和普通话 ASR 任务上相对于强基线 Conformer 的 6 个领域内外测试数据的单词 / 字符错误率降低了 10.2％到 24.5％。

    Jun, 2023

  • 多领域训练提高口音语音识别

    本文致力于提高自动语音识别系统的准确性与泛化能力，运用多种口音以构建微调数据集用以提高模型的鲁棒性，同时展示多领域数据集优化效果。

    Mar, 2023

  • AfriSpeech-200：用于临床和一般领域 ASR 的泛非洲口音语音数据集

    非洲医生与患者之间的比例严重失衡，且存在语音识别算法的种族偏见和非洲口音识别的缺失问题。该研究发布了 AfriSpeech 数据集，为非洲的临床和通用领域的语音识别提供了一个公开的基准测试集和预训练模型。

    Sep, 2023

  • CommonAccent：基于 Common Voice 的大型声学预训练模型探索口音分类

    本文介绍了使用 ECAPA-TDNN 和 Wav2Vec 2.0 / XLSR 体系结构进行多语言口音分类的简单操作方法，并以 Common Voice 数据集为基础，在英语、意大利语、德语和西班牙语上建立了新的最先进的英语口音分类。结果表明，将口音信息与 ASR 框架的其他部分相结合可以减轻口音识别错误。

    May, 2023