Jun, 2023

基于时间 - 频率感知器的多轨音乐转录

PDF
TL;DR本文提出了一种新型的深度神经网络结构 Perceiver TF，用于多音轨音乐转录，通过引入分层扩展和额外的 Transformer 层来建模音频输入的时间 - 频率表示，从而实现 12 种乐器和声音的多任务学习，结果表明该系统在各种公共数据集上的性能优于现有的其他对手。
multitrack music transcriptiondeep neural network architectureperceiver tftemporal coherencemulti-task learning
发现论文，激发创造
  • 分层频时间转换的自动钢琴转录

    提出了一种名为 hFT-Transformer 的自动音乐转录方法，该方法利用了两种级别的分层频率 - 时间 Transformer 结构，能够捕捉音频中的长期依赖关系，并在评估中表现出最先进的性能。

    Jul, 2023

  • 多轨音乐变换器

    提出了一种新型的多轨音乐表示方式，可以同时包含多种不同类型的乐器，并实现了基于音乐自注意力的实时即兴演奏，该方法在速度和内存占用方面都具有优势。

    Jul, 2022

  • 基于 Transformer 的序列到序列钢琴转录

    本文展示了使用通用 encoder-decoder Transformer 和标准解码方法可实现与专业领域特定设计模型同等效果的自动音乐转录方法，从而取消了任务特定架构的需求，简化了转录，为集中精力于数据集创建和标注而非模型设计提供了可能性。

    Jul, 2021

  • 有监督音乐转录的不变性和数据增强

    本文探讨了基于帧的音乐转录的各种模型，重点在于达到人类录音的最新的方法。本文中讨论的具有平移不变性的网络，结合了传统的滤波器和卷积神经网络，在 2017 年 MIREX 多基频估计评估测试中成为最佳性能模型。本类模型在 log 频率域中共享参数，利用音乐的频率不变性来减少模型参数数量并避免对训练数据的过度拟合。本文中的所有模型都是通过 MusicNet 数据集中具有标记的数据进行监督训练的，并通过随机保持标签的音调变换进行增强。

    Nov, 2017

  • MT3: 多任务多轨音乐转录

    本文利用序列到序列传递学习的多任务自然语言处理模型，在多个不同的乐器转录数据集上对多种音乐乐器进行了联合转录，展示了其在低资源乐器的表现结果显著，同时保持了高质量的表现结果，是多任务自动音乐转录领域的强有力基线。

    Nov, 2021

  • 基于数据驱动的鲁棒自动钢琴转录分析

    通过研究训练数据的角度，本文通过在 MAESTRO 数据集的原始和重新执行版本上使用各种数据增强技术，获得了 MAPS 数据集的最新音符起始准确性，而无需查看其他的训练数据。

    Feb, 2024

  • 带迭代注意力的通用感知器

    本文介绍了 Perceiver 模型，它利用了不对关系进行假设的 Transformer，同时还能在处理非常大的输入时进行规模扩展，通过迭代地将输入压缩到一个紧凑的潜在瓶颈中，并且在图像、点云、音频、视频和视频 + 音频等多个模态的分类任务中达到了与最佳模型相当的性能。

    Mar, 2021

  • 零样本音乐源分离、转录和合成的统一模型

    通过一个三合一的统一模型来对音频进行分离、转录和综合，采用一种 pitch-timbre 分离模块来更好地计算音源之间的关系，从而实现零样本学习。

    Aug, 2021

  • 基于生成式预训练的旋律转录

    利用 Jukebox 描述音频数据，并结合新数据集进行模型训练，在旋律转录方面取得了令人瞩目的进展，从而实现了直接从音频转录可阅读的乐谱的 Sheet Sage 系统。

    Dec, 2022

  • 音色陷阱：一种用于不受乐器限制的音乐转录的低资源框架

    Timbre-Trap 是一个新型框架，通过利用音高和音色之间的强分离性，将音乐转录和音频重建相统一。我们通过训练一个 U-Net 模型，同时估计音高显著性和重建复杂谱系数，通过简单的切换机制在解码阶段选择其中之一的输出。我们证明了该框架的性能可与最先进的无特定乐器转录方法相媲美，而只需要少量的带注释数据。

    Sep, 2023