Apr, 2021

LeBenchmark: 一个可复现的框架，用于评估自监督语音表示学习

HTML
PDF
TL;DR该论文提出LeBenchmark，这是一个可重复的框架，用于评估自监督学习从语音到ASR、语言理解、语音翻译和情感识别的影响，重点关注法语中的语音技术，通过实验表明，SSL对大多数语音任务都是有益的，但不是所有任务都是。
发现论文，激发创造
  • 分析影响基于自监督预训练表示在语音识别中的有效性因素

    本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进SSL-based预训练模型的泛化性能提供指导。

    Mar, 2022

  • 朝着低成本的端到端口语理解

    该研究比较了几种学习策略以减少使用自监督模型进行训练的计算时间和能源消耗成本，同时在FSC和MEDIA语料库上的实验表明，该方法可以在保持最先进性能的同时降低学习成本。

    Jul, 2022

  • 自监督语音模型在音频表示方面的功效

    本研究提出融合自监督学习语音模型嵌入的集成框架，旨在探究其在音频和非语音任务中的表示能力，实验证明该框架普遍优于当前最先进的自监督学习语音/音频模型，特别在面对细粒度音乐任务时也表现出强大的能力。

    Sep, 2022

  • 探索日语自监督语音表征模型的语言依赖性

    本研究比较跨语言模型和单语言模型在日语自动语音识别上的表现，证明通过使用无标签日语数据，可实现与预先训练仅使用英语和/或多语言数据的跨语言模型相当的性能，并在多项自动语音识别任务上展示自监督学习在日语中的最新成果。

    May, 2023

  • MiniSUPERB：自监督语音模型轻量级基准测试

    本研究提出了MiniSUPERB，该基准可以有效评估自监督语音模型的能力，同时极大地降低了计算成本。

    May, 2023

  • 语音自监督表示基准测试：我们做得对吗？

    本文研究了自我监督学习在语音任务中的应用，特别是其在下游任务中的性能表现和解码器架构的影响。结果发现，使用不同的解码器架构可能会导致表现结果的显著变化，使用局限的解码器也可能会适得其反地增加SSL模型的大小。

    Jun, 2023

  • 语音自监督表示基准评估：大型探测器盒的例证

    自监督学习利用大规模的无标签语音数据集，在少量标注数据的情况下达到令人印象深刻的性能。本研究探讨了在探测头结构改变时，基准测试结果如何受到影响。通过评估大容量的探测头，显示了它们对性能、推理成本、泛化能力和多级特征利用的影响。

    Aug, 2023

  • LeBenchmark 2.0：一种用于法语语音的标准化、可复制和增强的自监督表示框架

    该论文介绍了LeBenchmark 2.0，一个用于评估和构建搭载自监督学习的法语语音技术的开源框架，其中包括大量不同类型的语料库，包含长达14,000小时的异构语音数据，十个预训练的SSL wav2vec 2.0模型，与社区共享的可学习参数介于2600万到10亿之间，并提供六个下游任务的评估协议以补充现有基准。LeBenchmark 2.0还对针对语音的预训练SSL模型提供了独特的视角，包括冻结与微调的下游模型、任务不可知与任务特定的预训练模型，并讨论了大规模模型训练的碳足迹。

    Sep, 2023

  • SSHR：利用自监督层级表征进行多语言自动语音识别

    通过使用自我监督学习(SSHR)的分层表示，我们提出了一种新方法来优化多语种自动语音识别(ASR)。我们分析了自我监督学习模型的不同层次，发现了与语言和内容相关的信息，从相关的中间层中提取与语言相关的帧，并通过自注意机制引导针对特定内容的提取。此外，我们使用提出的Cross-CTC在最后几层中引导模型获取更多与内容相关的信息。通过在Common Voice和ML-SUPERB这两个多语种数据集上的评估，实验结果表明我们的方法在我们所知的范围内达到了最先进的性能。

    Sep, 2023

  • 自我监督表示在自动语音识别中的高效注入

    我们提出了两种简单的方法，使用逐帧加法和交叉注意机制来高效地将自监督学习模型的表示纳入ASR架构，从而在训练期间避免使用自监督学习模型，加快了训练速度，并在Librispeech和Tedlium数据集上相较于基准模型实现了显著性能提升。

    Apr, 2024