完全自监督的二分类节奏估计

Jan, 2024

Tempo estimation as fully self-supervised binary classification

Florian Henkel, Jaehun Kim, Matthew C. McCallum, Samuel E. Sandberg, Matthew E. P. Davies

TL;DR本文提出了一个解决音乐音频全局速度估计问题的方法，采用完全自监督的方法，不依赖任何人工标记数据。该方法利用通用（音乐）音频嵌入已经编码了各种属性的事实，包括关于速度的信息，使其可以方便地适用于下游任务。在与现有最先进的方法进行比较时，我们的方法表现竞争力强，尤其是在对精确速度八度的约束放宽的情况下。

Abstract

This paper addresses the problem of global tempo estimation in musical audio. Given that annotating tempo is time-consuming and requires certain musical expertise, few publicly available data sources exist to train machine learning models for this task. Towards alleviating this issue,

global tempo estimation self-supervised approach music audio embeddings binary classification problem state-of-the-art

发现论文，激发创造

节奏与音高：自监督节奏估计的理解

本文通过实验分析自监督的音高估计模型在节奏估计中的适用性和鲁棒性，探究了输入表示和数据分布之间的关系。

Apr, 2023

音乐节奏估计的等变自监督

本文提出了一种基于等变自监督信号来学习音频节奏表示的方法，避免了需要标注数据的缺点，而且不需要采用正则化或负采样等方法防止模型崩溃。实验证明，这种方法能够仅依靠等变自监督而获得与监督方法相当的性能，而且需要的计算资源较少，因此适用于广泛的研究社区。

Sep, 2022

人工智能与节奏估计：综述

人工智能（AI）被应用于音乐创作中的关键要素之一 - 音乐速度的大规模估计，本文探索了 AI 在此方面的应用。研究通过回顾一些常见的基于 AI 的音乐速度估计算法，展示了其显著优点和潜在缺陷，并讨论了 AI 在此领域的一般局限性以及其能否准确模拟人类的节奏感知能力。

Dec, 2023

音频嵌入中的节奏操作用于节奏预测和搜索的相似但更快方法

通过对音频嵌入空间的节奏操纵，实现了一种可以在维持其他性质的同时检索具有不同节奏的相似音轨的函数，该函数可用于训练下游节奏预测器和改进与节奏无关的特性的最近邻检索的有效数据增强策略。

Jan, 2024

移动设备自监督音频表示学习

我们探索了可以在移动设备上部署的自监督模型来学习通用音频表示，具体而言，我们提出了利用频谱图域中的时间上下文的方法。一种方法估计从同一音频剪辑中随机提取的两个短音频片段之间的时间间隔。其他两种方法受 Word2Vec 的启发，旨在从过去和未来切片中重建时间频谱图切片，或者从当前切片重建周围切片的上下文。我们关注使用小型编码器体系结构的评估，这些体系结构可以在推理（在多个下游任务中重复使用共同学习的表示）和训练（与联合学习结合使用时捕获真实数据分布而不损害用户隐私）期间潜在运行于移动设备。我们评估了自我监督学习模型产生的嵌入质量，并表明它们可以被重新用于各种下游任务，甚至对一些任务的性能接近相似大小的全监督模型。

May, 2019

实现全自监督多音高估计

多音高估计中的多音高估计，监督式学习技术，自监督式学习目标，多声乐曲数据集，卷积自编码器

Feb, 2024

多任务自监督预训练用于音乐分类

本文研究应用自监督学习和多任务学习方法预训练音乐编码器，探索编码器结构、损失权重和自监督任务选择对下游音乐分类任务的影响。研究发现，使用多种音乐特定的自监督任务，结合合理的损失权重平衡，可以提高和推广到下游任务。

Feb, 2021

时序自监督的音视频对比学习

本文提出了一种自我监督学习方法，用于学习视频的表示，结合了 RGB 帧和相关的音频，通过多模式对比目标来扩展时间自我监督的音频 - 视觉设置，并提出了新的对比目标。

Feb, 2023

多任务学习和自监督实现高效的音频分类

本研究旨在通过使用多任务学习和自监督学习提高基于 WaveNet 的大型神经网络在音频数据上的标签效率，并证明在有限的标记训练数据场景下，同时训练其他自监督任务可以显著提高分类性能。

Oct, 2019

音乐相似度检索和自动标记中度量学习的自监督辅助损失

本研究提出了一种基于自我监督学习方法的模型，通过介绍自我监督辅助损失的度量学习方法来解决基于相似性的检索挑战。实验结果表明，该方法可以增强检索和标记性能指标，可用于所有音乐曲目和部分音乐曲目的两种情况。

Apr, 2023