May, 2022

置换不变语言模型生成交响乐

PDF
TL;DR提出了一种置换不变的语言模型 SymphonyNet 作为符号交响乐音乐生成的解决方案，使用基于 Transformer 的自回归语言模型和具有特定 3D 位置嵌入的 MMR 表示来建模音乐序列。为解决额外长的交响乐符号建模时的长度溢出问题，引入了一种修改后的字节对编码算法（Music BPE），并提出了一种新的线性变换器解码器架构作为主干，同时通过屏蔽输入中的乐器信息来训练解码器学习自动管弦乐。同时，引入了一个用于符号交响乐的大规模数据集，实验结果表明，所提出的方法是多轨多乐器符号音乐生成的先锋解决方案。
symphonynetmusic generationtransformer-based auto-regressive language modelmulti-track multi-instrument repeatable (mmr) representationmusic bpe
发现论文，激发创造
  • 多轨音乐变换器

    提出了一种新型的多轨音乐表示方式，可以同时包含多种不同类型的乐器，并实现了基于音乐自注意力的实时即兴演奏，该方法在速度和内存占用方面都具有优势。

    Jul, 2022

  • MuPT: 一个生成式的符号音乐预训练 Transformer

    本文探讨了大型语言模型（LLMs）在音乐的预训练中的应用。研究发现，LLMs 与 ABC 记谱法更加兼容，提高了音乐创作模型的性能。为了解决不同音轨间的错位问题，我们提出了一种名为 Synchronized Multi-Track ABC Notation（SMT-ABC Notation）的方法，旨在保持多个音乐音轨之间的一致性。我们的贡献包括一系列能够处理 8192 个标记的模型，覆盖了训练集中 90％的符号音乐数据。此外，我们还研究了符号音乐缩放定律（SMS Law）对模型性能的影响。研究结果表明了音乐生成领域未来研究的一个有前途的方向，并通过我们的开源贡献为社区主导的研究提供了丰富的资源。

    Apr, 2024

  • 具有歌曲结构图分析的组合音乐生成模型

    提出了一种符号音乐生成模型，使用了歌曲结构图分析网络构建了一个图，利用音符序列和乐器等信息作为节点特征，音符序列之间的相关性作为边特征。通过训练图神经网络来获取图中节点的表示，然后将节点表示作为 Unet 的输入生成 CONLON 钢琴滚动图像潜变量。实验结果表明，该模型可以生成全面形式的音乐，为符号音乐生成提供了一种有前景且创新的方法，并在音乐信息检索的各个领域，包括音乐创作、音乐分类和音乐修复系统中具有潜在的应用价值。

    Dec, 2023

  • MuseGAN: 多轨序列生成对抗网络用于符号音乐生成和伴奏

    本文提出了三个基于生成对抗网络的符号化多轨音乐生成模型，并通过客观和主观的评估方法证明了这些模型的有效性。此外，该文还介绍了一些评估生成结果的标准，并通过与人类协作音乐生成的实验进行探讨。

    Sep, 2017

  • Symphony: 分子生成的对称等变点心球谐函数

    Symphony 是一个 $E (3)$- 等变自回归生成模型，用于生成三维分子几何体，通过分子碎片的迭代构建分子。通过使用高阶 $E (3)$- 等变特征的消息传递，Symphony 能够有效地建模分子的三维几何结构，从而得到概率分布的新表示方法。研究表明，Symphony 能够准确地生成 QM9 数据集中的小分子，优于现有的自回归模型，并接近扩散模型的性能。

    Nov, 2023

  • MelodyGLM：多任务符号化旋律生成的预训练

    该研究提出了 MelodyGLM，一个多任务预训练框架，用于生成带有长期结构的旋律。研究使用 melodic n-gram 和长跨度抽样策略来创建本地和全局填充任务，以建模旋律中的本地和全局结构。研究还构建了一个包含超过 40 万旋律片段的大规模符号旋律数据集，用于大规模预训练和领域特定的 n-gram 词典构建。主观和客观评估结果表明，MelodyGLM 超过了标准和之前的预训练方法，在旋律连续性、节奏性、结构性和整体质量方面都取得了显著改进。值得注意的是，MelodyGLM 在旋律填充任务上几乎与人类创作的旋律的质量相媲美。

    Sep, 2023

  • SongComposer: 歌曲生成中用于歌词和旋律创作的大型语言模型

    SongComposer 是一种创新的基于 LLM 的歌曲作曲技术，通过利用 LLM 的能力来理解和生成具有象征性歌曲表示的旋律和歌词，通过符号化歌曲表示的方式，使 LLM 能够像人类一样明确地作曲，通过 SongCompose-PT 预训练数据集的收集和充分的预训练，SongComposer 在歌词到旋律生成、旋律到歌词生成、歌曲延续和文本到歌曲创作等领域展现出优越的性能。

    Feb, 2024

  • 使用 Transformer 探索有条件的多轨音乐生成

    本文提出了一种基于 Transformer 架构的多音轨音乐生成系统 Multi-Track Music Machine（MMM），通过对音乐材料的表示和注意力机制的利用，可以实现多音轨的音乐生成，并提供音轨级别和小节级别的插入、音轨内乐器和音符密度控制等功能。

    Aug, 2020

  • 简单且可控的音乐生成

    本文介绍了 MusicGen 这个单一语言模型，能够生成高质量的音乐样本，实现对文本描述或旋律特征的有条件创作，并经过广泛的实证评估，表明其在标准的文本到音乐基准上优于其他模型。

    Jun, 2023

  • ComposerX: 多智能体符号音乐创作与 LLMs

    通过引入一个基于代理的符号音乐生成框架 ComposerX，我们进一步探索和提升 LLMs 在音乐创作中的潜力，结果表明 ComposerX 能够产生具有吸引力的连贯多声部音乐作品，并遵守用户的指导。

    Apr, 2024