本文提出将乐谱数据表示成具有韵律结构的形式，通过开发更好的数据输入方式，我们建立了一个节奏更流畅的 Pop 钢琴音乐生成模型 - Pop Music Transformer。

Feb, 2020

应用深度学习技术对符号音乐进行理解的第一步是将音乐作品（主要是 MIDI 格式）转换为预定义令牌的序列，如音符音高、音符速度和和弦。然后，将这些序列输入神经序列模型以完成特定任务。在本文中，我们提出了一种新的方法 ——NG-Midiformer，用于理解符号音乐序列，该方法利用了 N-gram 方法。我们的方法首先使用我们提出的无监督复合法将音乐作品处理成类似单词的序列，然后使用我们的 N-gram Transformer 编码器，该编码器能够有效地融合 N-gram 信息，以增强用于更好理解音乐序列的主要编码器部分。大规模音乐数据集上的预训练过程使模型能够深入学习包含在音乐序列中的 N-gram 信息，并在微调阶段应用此信息进行推理。实验证明了我们方法的有效性，并在一系列音乐理解下游任务中实现了最先进的性能。

Dec, 2023

本文展示了使用通用 encoder-decoder Transformer 和标准解码方法可实现与专业领域特定设计模型同等效果的自动音乐转录方法，从而取消了任务特定架构的需求，简化了转录，为集中精力于数据集创建和标注而非模型设计提供了可能性。

Jul, 2021

本文讨论了使用 Transformer 模型对音乐成分进行分词表示的方法，以生成适当的音乐符号表示法。研究发现，该方法在所有 12 种音乐方面都显著优于现有方法。作者还探讨了适合使用该模型的有效符号表示法，确定了该方法的最佳效果。

Dec, 2021

该论文在音乐生成的深度学习系统中引入了一种新颖的图表示方法和深度变分自编码器，将音乐的结构和内容分开生成，实现了更具层次结构的人机交互音乐创作方式。

Jul, 2023

本文提出了一种数据驱动的框架，以将音乐序列 解析为依赖树，该系统不依赖于任何特定的符号语法，可以同时考虑多种音乐特征，并利用序列上下文信息，可以轻松集成到现代深度学习管道中。在两个音乐数据集上测试表明，该方法优于先前的方法。

Jun, 2023

通过探索 Transformer 模型的设计空间，我们发现一些设计上的决策对该模型的归纳偏差有很大的影响。我们发现这些决策可以显著地提高 Transformer 模型的组合泛化能力，并在各种复合任务中实现了比文献报道的更好的泛化结果，并在语义分析组合泛化基准（COGS）和字符串编辑操作组合基准（PCFG）中实现了最先进的结果。

Aug, 2021

该文章提出了一种基于数据分布的组合建模通用框架，证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数，可在训练数据上产生新的、格式正确的例子，进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强，在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果，在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。

Jan, 2022

该研究探讨了如何使用 Transformer 结构生成多乐器音乐乐谱，使用 NES-MDB 数据集进行了实验并采用预训练方法利用 Lakh MIDI 数据集进一步提高生成效果。

Jul, 2019

提出了一种适用于多声部音乐生成的神经网络模型 Choir Transformer，并引入了相对位置注意力机制以更好地建模音乐的结构，提出了适用于多声部音乐生成的音乐表示方法。Choir Transformer 的性能超过了之前最先进的准确率达到 4.06%。实验证明其和巴赫音乐的和声度接近。在实际应用中，生成的旋律和节奏可以根据特定输入进行调整，从而产生不同风格的音乐，如民谣音乐或流行音乐等。

Aug, 2023