本文提出了一种基于 Transformer 架构的多音轨音乐生成系统 Multi-Track Music Machine（MMM），通过对音乐材料的表示和注意力机制的利用，可以实现多音轨的音乐生成，并提供音轨级别和小节级别的插入、音轨内乐器和音符密度控制等功能。

Aug, 2020

本文利用序列到序列传递学习的多任务自然语言处理模型，在多个不同的乐器转录数据集上对多种音乐乐器进行了联合转录，展示了其在低资源乐器的表现结果显著，同时保持了高质量的表现结果，是多任务自动音乐转录领域的强有力基线。

Nov, 2021

提出了一种使用修改后的相对注意力机制来设计变形金刚神经网络的算法，用于音乐作曲、演奏和生成任务，并在 JSB Chorales 和 Piano-e-Competition 数据集上获得了最先进的结果。

Sep, 2018

提出了一种置换不变的语言模型 SymphonyNet 作为符号交响乐音乐生成的解决方案，使用基于 Transformer 的自回归语言模型和具有特定 3D 位置嵌入的 MMR 表示来建模音乐序列。为解决额外长的交响乐符号建模时的长度溢出问题，引入了一种修改后的字节对编码算法（Music BPE），并提出了一种新的线性变换器解码器架构作为主干，同时通过屏蔽输入中的乐器信息来训练解码器学习自动管弦乐。同时，引入了一个用于符号交响乐的大规模数据集，实验结果表明，所提出的方法是多轨多乐器符号音乐生成的先锋解决方案。

May, 2022

本文探讨使用软件合成音频数据训练通用模型来加快乐器自动转录模型的转移学习，结果表明使用合成数据训练模型可能是预训练通用模型的良好基础。

Apr, 2023

本文展示了使用通用 encoder-decoder Transformer 和标准解码方法可实现与专业领域特定设计模型同等效果的自动音乐转录方法，从而取消了任务特定架构的需求，简化了转录，为集中精力于数据集创建和标注而非模型设计提供了可能性。

Jul, 2021

该研究探讨了如何使用 Transformer 结构生成多乐器音乐乐谱，使用 NES-MDB 数据集进行了实验并采用预训练方法利用 Lakh MIDI 数据集进一步提高生成效果。

Jul, 2019

本文提出了一种新型的深度神经网络结构 Perceiver TF，用于多音轨音乐转录，通过引入分层扩展和额外的 Transformer 层来建模音频输入的时间 - 频率表示，从而实现 12 种乐器和声音的多任务学习，结果表明该系统在各种公共数据集上的性能优于现有的其他对手。

Jun, 2023

这篇论文介绍了 MT3 模型的改进，该模型是一种最先进的基于令牌的多乐器自动音乐转录模型。提出了 MR-MT3 来减轻该模型存在的乐器泄漏问题，并通过在 Slakh2100 数据集上进行评估，证明了改进方法的效果。研究还探讨了 MT3 在单乐器单声道数据集上的域过拟合问题，并分享了研究结果与源代码以促进未来研究修正基于令牌的多乐器自动音乐转录模型。

Mar, 2024

该论文提出了一种基于 SinTra 的自回归序列生成模型，可以从单个多轨音乐片段中学习，生成多个乐器的一致、美学、可变的多声部音乐，采用新颖的音高组表示法来确保生成样本的相关性和训练音乐，通过金字塔形的 Transformer-XL 与多尺度训练策略相结合的自回归序列生成模型可学习从单个训练音乐片段中的音乐结构和相对位置关系。

Apr, 2022