May, 2022

FLEURS: 语音通用表示的少样本学习评估

PDF
TL;DR介绍 FLEURS，这是一个 Few-shot Learning Evaluation of Universal Representations of Speech 基准，包含 102 种语言的 n 方并行语音数据集，可用于自动语音识别 (ASR)，语音语言识别 (Speech LangID)，翻译和检索等语音任务，并基于多语言预训练模型提供基线，旨在推动语音技术在多种语言中的应用。
few-shot learningspeech datasetmultilingual pre-trained modelslow-resource speech understandingspeech technology
发现论文，激发创造
  • FLORES-101 低资源和多语言机器翻译评估基准

    本文介绍了 FLORES-101 评估基准，该数据集由 3001 句从英文维基百科中提取出来的涵盖各种主题和领域的句子，在 101 种语言中由专业翻译人员进行翻译。该数据集可用于评估低资源语言和多对多多语言翻译系统的模型质量。

    Jun, 2021

  • 面向非洲次撒哈拉地区的多语言语音表示的非洲中心无监督预训练

    我们提出了第一个自我监督的多语种语音模型，该模型 exclusively 在非洲语音上进行训练。该模型利用了将近 60,000 小时的无标签语音片段，覆盖了撒哈拉以南非洲的 21 种语言和方言。在 FLEURS-102 数据集的 SSA 子集上，我们基于 HuBERT$_{base}$ (0.09B) 架构的方法显示出与 FLEURS 基准提出的 w2v-bert-51 (0.6B) 预训练模型相当的竞争力，同时使用 7 倍少的数据和 6 倍少的参数来提升 ASR 下游任务的性能。此外，在 LID 下游任务中，我们的方法比 FLEURS 基线的准确性提高了超过 22%。

    Apr, 2024

  • FLEUR：基于大型多模态模型的图像字幕解释性无参考评估度量

    借助大型多模型，本文提出了一种解释性的无参考度量方法 FLEUR，用以评估图像说明。FLEUR 不需参考说明即能对图像说明进行评估，并提供评分的解释。通过引入评分平滑化以尽可能与人类判断接近，并对用户定义的等级标准具有鲁棒性，FLEUR 在各种图像说明评估基准上与人类判断之间达到了高度相关性，并在 Flickr8k-CF、COMPOSITE 和 Pascal-50S 上取得了最先进的结果，成为了无参考评估度量领域的最新成果。

    Jun, 2024

  • Maestro-U: 利用联合语音 - 文本表示学习进行零监督语音 ASR

    在这篇论文中，我们演示了利用匹配模态的联合语音和文本模型可以训练出一个巨大的多语言自动语音识别模型，即使对于某些语言没有使用受控制的语音作为训练数据。我们还展示了 Maestro-U 的表现，它可以使错误率降低 68.5％，并将 19 种语言的 CER 降到 15％以下。

    Oct, 2022

  • 面向语言识别的标签感知语音表示学习

    本文提出了一种新的 Label Aware Speech Representation (LASR) 方法，将自我监督表示学习与语言标签信息相结合，使用三元组目标函数将语言标签与自我监督损失函数结合起来，并进一步优化语音表示以适用于下游任务，发现该方法比现有的语言识别系统更为有效，并可应用于多语音识别任务。

    Jun, 2023

  • 利用辅助 CTC 目标提高大规模多语言 ASR 性能

    本篇研究探讨自动语音识别中多语言不平衡性的问题，并使用语言标识条件来改善性能，并采用自我监督模型和 Conformer 架构实现相对于先前工作的 28.4% 的 CER 的最新系统。

    Feb, 2023

  • 学习稳健且多语言的语音表征

    本文旨在研究无监督语音表示学习在具备鲁棒性和可迁移性方面的表现，通过使用多样性和嘈杂的语音数据学习表示，并在多个语言中验证其鲁棒性和可迁移性。结果显示，该方法相比基线特征集在跨域转移和 25 种不同语言的语音识别上均有显著提升。

    Jan, 2020

  • SLUE: 自然语音口语理解评估新基准任务

    创建适用于口语理解评估的基准任务套件，其中包括命名实体识别、情感分析和语音识别，用于跟踪进展，评估预先训练的表示形式，研究管道与端到端方法的效用。

    Nov, 2021

  • 学习语音的通用非语义表示

    本篇文章提出了对非语义任务进行语音表征对比的基准，并提出了一种基于无监督三元组损失目标的表征方法，该方法在基准测试中表现优异，甚至在许多迁移学习任务中超越了最新技术水平；

    Feb, 2020

  • 学习通用音频表示

    提出一种基于 Slowfast 架构的正常化器自由的 NFNet 音频表示方法，并通过 HARES 跨领域 12 项测试取得优异表现，表明 SimCLR 目标能够促进更强健的音频表示学习。

    Nov, 2021