May, 2023

MERT：音乐声学理解模型及大规模自监督训练

PDF
TL;DR利用自监督学习方法，结合教师模型的音乐理解模型能够在大规模数据上，通过留声机和 Constant-Q Transform 等多种教师模型的指导，将 BERT-style transformer encoder 更好地应用于音乐领域，提升了音乐检索等 14 项任务的表现。
self-supervised learningmusic understandingteacher modelacoustic pre-trainingbert-style transformer encoder
发现论文，激发创造
  • 音乐中语音自我监督学习的有效性研究

    通过使用两个音频方案 data2vec1.0 和 Hubert，我们训练了 $12$ 个自监督学习模型，并在 13 个不同的音乐信息检索任务中进行系统评估。我们的研究表明，使用音乐数据进行训练可以提高 MIR 任务性能，即使使用的是设计用于语音的模型，也能取得效果。但是，我们还发现现有的语音定向设计存在一些局限性，特别是在多声部信息建模方面。因此，我们为未来的音乐自监督学习策略和范式提供了实证建议。

    Jul, 2023

  • 利用预训练的自监督前端实现自动唱歌声音理解任务：三个案例研究

    本文探讨了无监督自学习模型在歌唱声音识别中的有效性和表现，并对其实验结果和行为进行了分析。

    Jun, 2023

  • EAT：高效音频 Transformer 的自监督预训练

    提出了高效音频 Transformer（EAT）模型，通过自监督训练范式和新颖的话语 - 帧目标（UFO）增强声音事件建模能力，探究了掩模策略在音频自监督学习中的关键性作用，并在多种音频相关任务中实现了最先进的性能，并且相比现有的音频自监督学习模型，预训练速度提升了约 15 倍。

    Jan, 2024

  • ATST: 带有教师 - 学生 Transformer 的音频表示学习

    本文提出了一个新的基于 Transformer 编码器的自监督学习模型 ——ATST，该模型可解决分段级别的音频自监督学习问题。在新的正对配对策略的支持下，ATST 模型在多项下游任务中实现了最新的最佳表现。

    Apr, 2022

  • 音乐理解的有监督和无监督音频表示学习

    本文提供了音频理解模型预训练策略的广泛比较分析，探讨了预训练数据集（音乐或通用音频）和预训练方法（有监督或无监督）对下游任务的影响，特别是在音乐领域的多项任务中，超大规模有人工注释的音乐数据集上训练的有监督模型实现了最先进的性能，而域限制在音乐领域的无监督模型则在某些情况下能实现优异的有监督学习和无监督学习性能，表现出较高的效率和通用性。

    Oct, 2022

  • 自监督语音模型在音频表示方面的功效

    本研究提出融合自监督学习语音模型嵌入的集成框架，旨在探究其在音频和非语音任务中的表示能力，实验证明该框架普遍优于当前最先进的自监督学习语音 / 音频模型，特别在面对细粒度音乐任务时也表现出强大的能力。

    Sep, 2022

  • WavLM：用于完整语音处理的大规模自监督预训练

    本篇论文提出了一种新的预训练模型 WavLM，通过联合学习掩蔽语音预测和去噪，利用 Transformer 结构的门控相对位置偏置来更好地捕捉输入语音的顺序，使 WavLM 不仅具有掩蔽语音预测的语音内容建模能力，同时也提高了对非 ASR 语音任务的潜力，其在 SUPERB 基准测试上取得了最先进的性能，并为各种语音处理任务带来了显着的改进。

    Oct, 2021

  • 自监督音频模型有效解释人类大脑对语音的反应

    本文回顾了目前人类低级听觉处理的现有模型，并利用自学语言模型技术创建了新的人类听觉系统的先进模型。结果表明，与声学基线、音素特征和监督模型相比，来自自监督模型中间层的表示可以显著提高对听觉皮层的 fMRI 记录的预测性能，并且不同的听觉处理区域对信息的不同语言层次表现出偏好。

    May, 2022

  • 利用大规模 ASR 模型，在自监督学习中追求说话者验证的有监督性能

    自我监督学习在发音验证中表现出与有监督系统相近的性能，本研究通过对预训练的 WavLM 进行自我监督有监督微调并使用伪标签，实现了语音表示学习中的有监督性能，取得了 0.99％的 EER，接近有监督基线 0.94％的 EER。

    Jun, 2024

  • 音频自监督学习：综述

    本文综述了自监督学习在音频处理和语音处理领域中的应用，包括方法、实验和基准数据，并讨论了未来发展方向和存在的问题。

    Mar, 2022