提出了一种基于自注意力机制的深度序列模型，用于解决音乐信息检索问题，并且相比于传统的卷积和递归神经网络方法，该模型更具可解释性且具有竞争力的结果。

Jun, 2019

提出了一种新型的多轨音乐表示方式，可以同时包含多种不同类型的乐器，并实现了基于音乐自注意力的实时即兴演奏，该方法在速度和内存占用方面都具有优势。

Jul, 2022

提出了一种适用于多声部音乐生成的神经网络模型 Choir Transformer，并引入了相对位置注意力机制以更好地建模音乐的结构，提出了适用于多声部音乐生成的音乐表示方法。Choir Transformer 的性能超过了之前最先进的准确率达到 4.06%。实验证明其和巴赫音乐的和声度接近。在实际应用中，生成的旋律和节奏可以根据特定输入进行调整，从而产生不同风格的音乐，如民谣音乐或流行音乐等。

Aug, 2023

提出了一种新颖的 Transformer 模型 Museformer，它采用了细粒度和粗粒度的注意力机制来生成音乐，能够通过细粒度注意力机制捕捉音乐结构相关的关联，通过粗粒度注意力机制捕捉其他上下文信息，并且可以比完全注意力机制生成长度超过 3 倍的高质量音乐序列。

Oct, 2022

本研究通过在自我关注机制中引入对序列元素相对位置或距离的表示，比绝对位置表示获得了更好的机器翻译结果。同时，将相对位置表示和绝对位置表示相结合并不能进一步提高翻译质量。

Mar, 2018

我们提出了一种注意力层的方法，使用用户提供的自相似矩阵来在生成音乐时添加模板结构，并通过与没有注意力机制的模型进行比较，证明了该方法显著提高了网络的特定结构复制能力，以及在未见测试集上的性能。

Jun, 2024

本文提出了广义注意力机制 (GAM)，揭示了 Vaswani 等人的自注意力机制的新解释，提供了不同变体注意力机制和 GAM 框架中的新相对位置表示，并可简单应用于不同数据集中元素的不同位置的情况。

Jul, 2022

本文提出了一种基于主题的条件控制机制，通过深度学习的对比学习和聚类技术自动提取音乐片段中的主题材料，并在序列到序列编码器 / 解码器结构中使用了一种新的门控并行注意力模块来更有效地考虑给定的感应主题材料，以生成具有重复和合理变化的多声部流行钢琴音乐。

Nov, 2021

本文提出了基于具有偏置校正的正弦编码的基础音乐嵌入（FME）进行符号音乐嵌入的方法，在此基础上，使用相对 - 索引、音高和起始时间等嵌入提出了一种基于相对的关注机制（RIPO attention）进行符号音乐建模；实验结果表明，使用 RIPO Transformer 进行音乐生成，可以消除音乐生成中存在的 Degeneration 现象，并且生成的音乐在主观和客观评估中优于基于最新 Transformer 的音乐生成模型。

Dec, 2022

利用结构信息的位置编码框架改进深度学习生成音乐的一项研究，通过使用变换器模型，提出了三种不同类型的位置信息编码方法，并通过两个符号音乐生成任务对其进行全面测试，结果表明这些方法能够提升生成音乐作品的旋律和结构的一致性。

Feb, 2024