基于 Transformer 的序列到序列钢琴转录

Jul, 2021

基于 Transformer 的序列到序列钢琴转录

Sequence-to-Sequence Piano Transcription with Transformers

Curtis Hawthorne, Ian Simon, Rigel Swavely, Ethan Manilow, Jesse Engel

TL;DR本文展示了使用通用 encoder-decoder Transformer 和标准解码方法可实现与专业领域特定设计模型同等效果的自动音乐转录方法，从而取消了任务特定架构的需求，简化了转录，为集中精力于数据集创建和标注而非模型设计提供了可能性。

Abstract

automatic music transcription has seen significant progress in recent years by training custom deep neural networks on large datasets. However, these models have required extensive domain-specific design of netwo

automatic music transcription deep neural networks encoder-decoder transformer spectrogram inputs music information retrieval

发现论文，激发创造

基于数据驱动的鲁棒自动钢琴转录分析

通过研究训练数据的角度，本文通过在 MAESTRO 数据集的原始和重新执行版本上使用各种数据增强技术，获得了 MAPS 数据集的最新音符起始准确性，而无需查看其他的训练数据。

Feb, 2024

流行音乐变压器：基于节拍的建模和生成富有表现力的流行钢琴作品

本文提出将乐谱数据表示成具有韵律结构的形式，通过开发更好的数据输入方式，我们建立了一个节奏更流畅的 Pop 钢琴音乐生成模型 - Pop Music Transformer。

Feb, 2020

分层频时间转换的自动钢琴转录

提出了一种名为 hFT-Transformer 的自动音乐转录方法，该方法利用了两种级别的分层频率 - 时间 Transformer 结构，能够捕捉音频中的长期依赖关系，并在评估中表现出最先进的性能。

Jul, 2023

高维序列转导

通过基于循环神经网络的概率模型将输入序列转换为高维输出序列来将复调音频音乐转录成符号表示，从而得到了在高噪声下能够产生合理输出分布的方法，并通过有效的算法大幅优于之前最先进的方法，在五个数据集上将测试误差率减半。

Dec, 2012

跨域预训练改进多乐器音乐生成

该研究探讨了如何使用 Transformer 结构生成多乐器音乐乐谱，使用 NES-MDB 数据集进行了实验并采用预训练方法利用 Lakh MIDI 数据集进一步提高生成效果。

Jul, 2019

利用 Transformer 网络重建钢琴演奏中的人类表现力

本文提出了一种使用多层双向 Transformer 编码器重建钢琴演奏人类表现力的新方法，并使用现有的转录模型得到的转录乐谱来训练我们的模型，在此基础上通过控制采样过程中的钢琴家身份探索我们系统模拟不同钢琴家表现力差异的能力，在统计生成的表现力强的演奏和听力测试中对该系统进行评估，结果表明我们的方法实现了从转录分数生成类似于人类钢琴演奏的结果的最新技术水平，同时全面且一致地重建了人类的表现力，这进一步提出了挑战。

Jun, 2023

使用前馈 Transformer 进行序列到序列歌唱合成

提出了一种基于 Transformer 模型的序列到序列歌曲合成器，使用自身注意力机制结合初始的音长模型来准确合成出作曲家想要的声音，相比于基于老师强制训练的自回归模型，具有更快的推理速度和更好的生成效果。

Oct, 2019

序列对序列神经网络模型进行音译

本文介绍了使用神经序列到序列模型在现有数据集上达到最先进或接近最先进的结果，以转录为重点组件的机器翻译系统和软件国际化。为了使机器转录易于使用，我们开放了一个新的阿拉伯文到英文的转录数据集和我们训练的模型。

Oct, 2016

层次解码实现面向真实世界的多音钢琴音频转谱

基于序列到序列模型的钢琴音频转谱任务中使用层次解码器，结合多任务学习实现对小节和音符级别音符信息的转录，同时通过预处理方法保留谱表结构以重构声部；通过两阶段训练方案，首先在合成音频上进行预训练，然后在人类演奏录音上进行微调从而弥补合成数据与人类演奏录音之间的差距。实验结果表明，该方法在合成音频数据与当前最先进技术相比的转录性能以及对人类演奏录音的首次实验方面具有良好效果。

May, 2024

自动音乐转录中乐器间知识的传递

本文探讨使用软件合成音频数据训练通用模型来加快乐器自动转录模型的转移学习，结果表明使用合成数据训练模型可能是预训练通用模型的良好基础。

Apr, 2023