Jul, 2022

音乐音频表示的适当对比自监督学习策略

PDF
TL;DR本文研究了不同对比自监督学习方案学习的音乐音频表示，并在不同的音乐信息检索任务中经验性地评估嵌入向量，以分析结果并讨论对不同 MIR 任务的适当对比学习策略方向，表明这些表示传达了关于音乐的听觉特征的综合信息，尽管每个自我监督策略在某些方面的信息方面有效。
self-supervised learningmusic audio representationcontrastive learning strategiesmusic information retrievalauditory characteristics
发现论文，激发创造
  • 自监督对比学习用于稳健的音乐 - 乐谱检索系统

    我们通过自监督对比学习的方法，研究了如何减轻多模态音乐检索模型中标注数据稀缺的限制，并提出了经过预训练的模型能够更好地检索音乐片段，并在交叉模态的作品识别任务中获得更好的检索质量的观察结果。

    Sep, 2023

  • CLAR: 对听觉特征的对比学习

    本文基于 SimCLR 的前期工作，提出了适用于音频数据的各种数据增强方案，并调查了它们对预测性能的影响，同时证明了采用时频音频特征训练，在监督和对比损失同时约束下的模型可以获得优秀的音频表示。在少量标注数据的情况下，该方法明显地改善了预测性能，同时比自监督训练更快地收敛并具有更好的表示能力。

    Oct, 2020

  • 多视图自监督方法在音乐标记中的实验比较

    在音乐领域应用自监督学习，通过研究和比较新的自监督方法，证明对比学习相对于其他自监督预训练方法在有限数据下游任务中始终能够取得更好的性能。

    Apr, 2024

  • 多任务自监督预训练用于音乐分类

    本文研究应用自监督学习和多任务学习方法预训练音乐编码器，探索编码器结构、损失权重和自监督任务选择对下游音乐分类任务的影响。研究发现，使用多种音乐特定的自监督任务，结合合理的损失权重平衡，可以提高和推广到下游任务。

    Feb, 2021

  • 多模态自监督学习通用音频表示

    通过使用多模态框架，在训练音频表征时利用视频信息和加入混合样本的数据增强，本研究的对比学习框架成功地实现了在非语义音频任务上的领先水平。

    Apr, 2021

  • 音乐理解的有监督和无监督音频表示学习

    本文提供了音频理解模型预训练策略的广泛比较分析，探讨了预训练数据集（音乐或通用音频）和预训练方法（有监督或无监督）对下游任务的影响，特别是在音乐领域的多项任务中，超大规模有人工注释的音乐数据集上训练的有监督模型实现了最先进的性能，而域限制在音乐领域的无监督模型则在某些情况下能实现优异的有监督学习和无监督学习性能，表现出较高的效率和通用性。

    Oct, 2022

  • 通用音频表示的对比学习

    COLA 是一种基于对比学习的自监督预训练方法，用于学习音频的通用表示，通过在大规模的 Audioset 数据库上进行预训练，使得其在包括语音、音乐、动物声音和声学场景等 9 项分类任务中性能显著优于之前的自监督系统，并进一步通过消融研究指出了关键的设计选择。

    Oct, 2020

  • 对比自监督学习综述

    本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

    Oct, 2020

  • MUSIC: 多段信息编码的自监督表征学习

    本文提出了 MUlti-Segmental Informational Coding（MUSIC）方法，使用信息理论测量直接优化划分样本到不同语义聚类的多个划分部分，以避免最小解，证明了 MUSIC 比最相关的 Barlow Twins 和 VICReg 方法在 ImageNet 分类方面线性探测时具有更好的结果。

    Jun, 2022

  • 音乐表征的对比学习

    本文介绍了一种基于 SimCLR 的 CLMR 框架，用于音乐领域的自监督、对比学习，采用一系列基于音频数据的增强技术，可以在无需标记的情况下学习有用的音乐表示，并在 MagnaTagATune 和 Million Song 数据集上进行了评估，在小型标记数据集下具有较高的精度。

    Mar, 2021