Oct, 2023

评估自监督语音表示对美国土著语言的应用

PDF
TL;DR应用自监督方法于语音表示学习的研究已引起广泛关注，然而，目前的进展主要集中在只考虑英语的单语模型上。我们在 ASRU 2023 ML-SUPERB 挑战赛的新语言轨道上提交了一份研究报告，其中介绍了一个针对 Quechua 语（一种南美洲土著语言）的 ASR 语料库。我们评估了大规模的自监督学习模型在 Quechua 语以及其他 6 种土著语言（如 Guarani 和 Bribri）的低资源 ASR 上的效果，结果显示最先进的自监督学习模型表现出了惊人的性能，展示了大规模模型在现实数据上的潜在泛化能力。
self-supervisionspeech representation learningmonolingual modelsindigenous languageslow-resource asr
发现论文，激发创造
  • 原生语言的 ASR 进展：Quechua, Guarani, Bribri, Kotiria 和 Wa'ikhana

    我们通过爬取广泛的语音语料库并应用数据增强方法，为五种土著语言（Quechua、Guarani、Bribri、Kotiria 和 Wa'ikhana）提供了可靠的自动语音识别（ASR）模型，其中包括 Wav2vec2.0 XLS-R 模型的不同变体

    Apr, 2024

  • 探索日语自监督语音表征模型的语言依赖性

    本研究比较跨语言模型和单语言模型在日语自动语音识别上的表现，证明通过使用无标签日语数据，可实现与预先训练仅使用英语和 / 或多语言数据的跨语言模型相当的性能，并在多项自动语音识别任务上展示自监督学习在日语中的最新成果。

    May, 2023

  • 分析影响基于自监督预训练表示在语音识别中的有效性因素

    本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进 SSL-based 预训练模型的泛化性能提供指导。

    Mar, 2022

  • 评估基于自我监督的语音模型在一个台湾福建语语料库上的表现

    台語的使用和地位因台灣向普通話的語言轉變而下降。這是目前自然語言處理和語音研究中它成為低資源語言的部分原因。為了確保台語不落後於語音處理技術的最新發展，我們向 ML-SUPERB 的隱藏集合中貢獻了一個 1.5 小時的台語資料集。在我們的資料集上評估 ML-SUPERB 的自我監督學習（SSL）語音表示套件，發現模型大小並不一致地決定性能。實際上，某些較小的模型表現更好。此外，預訓練數據和目標語言之間的語言對齊起關鍵作用。

    Dec, 2023

  • 使用自监督语音表示学习快速开发非洲语言的自动语音识别技术

    本文描述了在 2020 年 6 月非洲机器智能硕士（AMMI）期间启动的一次非正式合作的结果，该合作集中在自动语音识别（ASR）项目上，描述了如何收集数据以及使用少量（1 小时）转录语音作为训练数据如何开发 ASR 系统。在这种低资源条件下，基于大量原始语音的预训练模型对于开发 ASR 系统的效率至关重要。

    Mar, 2021

  • 自监督语音表示学习：综述

    本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

    May, 2022

  • 利用自监督语音表征进行发音错误检测

    本文研究了自我监督学习（SSL）模型在第二语言学习者的发音错误检测任务中的应用，比较了使用母语英语数据训练模型的语音识别（PR）方法和直接使用非母语英语数据训练模型的目标任务方法，通过对 L2Arctic 和 EpaDB 两个非母语语音数据集上的评估发现，直接训练用于目标任务的下游模型表现最佳，而大多数上游模型在该任务中表现相似。

    Jul, 2023

  • ML-SUPERB 2.0：跨模型约束、语言和数据集进行多语言语音模型基准测试

    ML-SUPERB~2.0 是一个新的基准系统，用于评估预训练的自监督学习和监督语音模型在下游模型、微调设置和高效模型适应方法方面的性能，它发现了 ML-SUPERB 设置的性能改进，但性能取决于下游模型设计，并且在语言和数据集之间存在大的性能差异，表明需要更有针对性的方法来改进多语言 ASR 性能。

    Jun, 2024

  • 理解自监督模型作为跨语言特征提取器的量化方法

    通过对英文自监督学习模型在跨语言环境中提取的特征进行研究，我们提出了一种新的度量标准来预测特征表示的质量。使用自动语音识别作为下游任务，我们分析了模型大小、训练目标和模型架构对一组拓扑多样的语料库中模型作为特征提取器的性能的影响。我们开发了一种新的度量标准，即 Phonetic-Syntax Ratio (PSR)，通过深度广义典型相关分析来衡量提取表示中的音标和合成信息。结果表明，wav2vec2.0 目标中的对比损失有助于更有效的跨语言特征提取。PSR 分数与自动语音识别性能呈正相关，表明单语自监督学习模型提取的音标信息可以用于跨语言设置中的下游任务。提出的度量标准是表示质量的有效指标，可用于模型选择。

    Nov, 2023

  • 面向非洲次撒哈拉地区的多语言语音表示的非洲中心无监督预训练

    我们提出了第一个自我监督的多语种语音模型，该模型 exclusively 在非洲语音上进行训练。该模型利用了将近 60,000 小时的无标签语音片段，覆盖了撒哈拉以南非洲的 21 种语言和方言。在 FLEURS-102 数据集的 SSA 子集上，我们基于 HuBERT$_{base}$ (0.09B) 架构的方法显示出与 FLEURS 基准提出的 w2v-bert-51 (0.6B) 预训练模型相当的竞争力，同时使用 7 倍少的数据和 6 倍少的参数来提升 ASR 下游任务的性能。此外，在 LID 下游任务中，我们的方法比 FLEURS 基线的准确性提高了超过 22%。

    Apr, 2024