Oct, 2017

Onsets and Frames: 双目标钢琴转录

PDF
TL;DR用深度卷积和递归神经网络来提高多声部钢琴音乐转录，在预测音符的开始和结束时间方面取得了相对 100% 的提升，并且通过预测标准化音频的相对速度得到更自然的转录结果。
polyphonic piano music transcriptionconvolutional neural networkrecurrent neural networkonset and frame predictionnormalized audio velocity
发现论文，激发创造
  • 通过回归按键起始和终止时间进行高分辨率钢琴转录

    本文提出了一种高分辨率的基于神经网络的自动音乐转录系统，可以精确定位钢琴音符的起始和终止时间，并且具有良好的鲁棒性，对于 MAESTRO 数据集的 onset F1 分数达到了 96.72％，对于 pedal onset F1 分数更是取得了 91.86％的好成绩。

    Oct, 2020

  • 深度多音 ADSR 钢琴音符转录

    研究了一种迟到融合方法和手工隐藏马尔可夫模型在钢琴转录中的应用，利用 ADSR 包络获取转移概率进行音符分段并经过最终的二进制决策规则，从而实现对完整音符的准确转换。在 MAPS 数据集上取得了最先进的结果，并能够大幅超越其他方法。

    Jun, 2019

  • 改进 Onsets 和 Frames 的对抗学习音乐转录

    使用对抗训练方案来处理多标签预测的音乐转录模型，可显著提高模型的准确性和置信度。

    Jun, 2019

  • 关于利用简单基于帧的方法进行钢琴转录的潜力

    在钢琴转录任务中，采用基于神经网络的帧级别方法，并通过系统比较适用于神经网络的不同流行的输入表示方法并充分利用训练技术和新的正则化方法，得出了一个比目前公开发表的最新技术在 MAPS 数据集上性能更好的钢琴转录器。因此，本文提出这种简单的方法作为未来音乐转录研究的新基准。

    Dec, 2016

  • 基于神经自回归模型的高效实时钢琴转录

    通过改进神经网络设计和模型大小，实现实时推断的钢琴转录模型，与现有最先进模型在音符精确度上相媲美并具有高性能及轻量级特点。

    Apr, 2024

  • 使用附加注意力机制的 Onsets and Frames 模型再审

    通过修正加性注意机制，本文全面检验了 Onsets-and-Frames AMT 模型并找出了对 AMT 性能有贡献的关键组件，实验结果表明加性注意机制在适度的时间上下文后并不对模型有益处，规则 - based 后处理高度贡献 SOTA 表现，并且无论模型的复杂程度如何，onsets 始终是最重要的注意机制特征。这些发现鼓励 AMT 的研究更注重强大的开始检测器和有效的后处理。

    Apr, 2021

  • 基于音素的神经网络模型，用于音符级别的唱歌转录

    本文中，我们提出了一种使用唱歌语言特征的方法，通过使用 mel-scaled spectrogram 和 phonetic posteriorgram（PPG）来更准确地检测唱歌声音的音符起始点。我们的方法显著提高了唱歌转录的性能，并强调了语言特征在唱歌分析中的重要性。

    Apr, 2023

  • 有监督音乐转录的不变性和数据增强

    本文探讨了基于帧的音乐转录的各种模型，重点在于达到人类录音的最新的方法。本文中讨论的具有平移不变性的网络，结合了传统的滤波器和卷积神经网络，在 2017 年 MIREX 多基频估计评估测试中成为最佳性能模型。本类模型在 log 频率域中共享参数，利用音乐的频率不变性来减少模型参数数量并避免对训练数据的过度拟合。本文中的所有模型都是通过 MusicNet 数据集中具有标记的数据进行监督训练的，并通过随机保持标签的音调变换进行增强。

    Nov, 2017

  • 基于 Transformer 的序列到序列钢琴转录

    本文展示了使用通用 encoder-decoder Transformer 和标准解码方法可实现与专业领域特定设计模型同等效果的自动音乐转录方法，从而取消了任务特定架构的需求，简化了转录，为集中精力于数据集创建和标注而非模型设计提供了可能性。

    Jul, 2021

  • 基于数据驱动的鲁棒自动钢琴转录分析

    通过研究训练数据的角度，本文通过在 MAESTRO 数据集的原始和重新执行版本上使用各种数据增强技术，获得了 MAPS 数据集的最新音符起始准确性，而无需查看其他的训练数据。

    Feb, 2024