Sep, 2023

音色陷阱：一种用于不受乐器限制的音乐转录的低资源框架

PDF
TL;DRTimbre-Trap 是一个新型框架，通过利用音高和音色之间的强分离性，将音乐转录和音频重建相统一。我们通过训练一个 U-Net 模型，同时估计音高显著性和重建复杂谱系数，通过简单的切换机制在解码阶段选择其中之一的输出。我们证明了该框架的性能可与最先进的无特定乐器转录方法相媲美，而只需要少量的带注释数据。
music transcriptiontimbre-trapaudio reconstructionpitch salienceinstrument-agnostic transcription
发现论文，激发创造
  • 零样本音乐源分离、转录和合成的统一模型

    通过一个三合一的统一模型来对音频进行分离、转录和综合，采用一种 pitch-timbre 分离模块来更好地计算音源之间的关系，从而实现零样本学习。

    Aug, 2021

  • 基于音色和音高的帧级乐器识别

    本文利用 MusicNet 数据集，建立并评估了一个卷积神经网络，实现基于帧级别标注的乐器识别，并尝试不同方法将音高信息融入模型，实现对于多乐器帧级别噪声的校准、乐器之间谐波比较分析等，实验结果表明相对于基线方法具有显著的性能提升。

    Jun, 2018

  • TimbreTron: 一种用于音乐音色转移的 WaveNet (CycleGAN (CQT (Audio))) 管道

    本文介绍一种名为 TimbreTron 的音乐音色转换方法，它使用基于图像领域的风格转移技术，将音频信号的时频表示进行转换，然后使用有条件的 WaveNet 合成器生成高质量的波形。我们还介绍了 Constant Q Transform (CQT) 表示法，它在人类知觉评估中可确保转移音色，同时保留其他音乐内容，适用于卷积架构。

    Nov, 2018

  • 有监督音乐转录的不变性和数据增强

    本文探讨了基于帧的音乐转录的各种模型，重点在于达到人类录音的最新的方法。本文中讨论的具有平移不变性的网络，结合了传统的滤波器和卷积神经网络，在 2017 年 MIREX 多基频估计评估测试中成为最佳性能模型。本类模型在 log 频率域中共享参数，利用音乐的频率不变性来减少模型参数数量并避免对训练数据的过度拟合。本文中的所有模型都是通过 MusicNet 数据集中具有标记的数据进行监督训练的，并通过随机保持标签的音调变换进行增强。

    Nov, 2017

  • 基于生成式预训练的旋律转录

    利用 Jukebox 描述音频数据，并结合新数据集进行模型训练，在旋律转录方面取得了令人瞩目的进展，从而实现了直接从音频转录可阅读的乐谱的 Sheet Sage 系统。

    Dec, 2022

  • 灵活音色控制的神经音乐合成

    本研究提出了一种基于神经网络的音乐合成模型，并使用具有灵活音色控制的嵌入学习来实现乐器的多样性和交互。

    Nov, 2018

  • 通过解耦音色表示实现音乐作曲风格转移

    本文介绍一种基于深度学习的音乐曲目排列模型，通过对乐曲音频的编码和解码预测其乐谱，并使用解缠技术将其中代表音乐内容和乐器的因素分离，实现曲式转换。

    May, 2019

  • 自动音乐转录中乐器间知识的传递

    本文探讨使用软件合成音频数据训练通用模型来加快乐器自动转录模型的转移学习，结果表明使用合成数据训练模型可能是预训练通用模型的良好基础。

    Apr, 2023

  • MT3: 多任务多轨音乐转录

    本文利用序列到序列传递学习的多任务自然语言处理模型，在多个不同的乐器转录数据集上对多种音乐乐器进行了联合转录，展示了其在低资源乐器的表现结果显著，同时保持了高质量的表现结果，是多任务自动音乐转录领域的强有力基线。

    Nov, 2021

  • 基于顺序迁移学习的 fMRI 数据解码听到和想象中的音色

    使用顺序迁移学习框架的转换器，可以有效地解码音乐音色，形成一种比现有方法更优的 fMRI 数据序列转换框架，用于预测不同 fMRI 数据序列是否记录了相同的音频音色。

    May, 2023