Aug, 2020

使用 Transformer 探索有条件的多轨音乐生成

PDF
TL;DR本文提出了一种基于 Transformer 架构的多音轨音乐生成系统 Multi-Track Music Machine（MMM），通过对音乐材料的表示和注意力机制的利用，可以实现多音轨的音乐生成，并提供音轨级别和小节级别的插入、音轨内乐器和音符密度控制等功能。
multi-track music machinetransformer architecturemusic generationlong-term dependenciestrack-level control
发现论文，激发创造
  • 多轨音乐变换器

    提出了一种新型的多轨音乐表示方式，可以同时包含多种不同类型的乐器，并实现了基于音乐自注意力的实时即兴演奏，该方法在速度和内存占用方面都具有优势。

    Jul, 2022

  • 简单且可控的音乐生成

    本文介绍了 MusicGen 这个单一语言模型，能够生成高质量的音乐样本，实现对文本描述或旋律特征的有条件创作，并经过广泛的实证评估，表明其在标准的文本到音乐基准上优于其他模型。

    Jun, 2023

  • 置换不变语言模型生成交响乐

    提出了一种置换不变的语言模型 SymphonyNet 作为符号交响乐音乐生成的解决方案，使用基于 Transformer 的自回归语言模型和具有特定 3D 位置嵌入的 MMR 表示来建模音乐序列。为解决额外长的交响乐符号建模时的长度溢出问题，引入了一种修改后的字节对编码算法（Music BPE），并提出了一种新的线性变换器解码器架构作为主干，同时通过屏蔽输入中的乐器信息来训练解码器学习自动管弦乐。同时，引入了一个用于符号交响乐的大规模数据集，实验结果表明，所提出的方法是多轨多乐器符号音乐生成的先锋解决方案。

    May, 2022

  • MuPT: 一个生成式的符号音乐预训练 Transformer

    本文探讨了大型语言模型（LLMs）在音乐的预训练中的应用。研究发现，LLMs 与 ABC 记谱法更加兼容，提高了音乐创作模型的性能。为了解决不同音轨间的错位问题，我们提出了一种名为 Synchronized Multi-Track ABC Notation（SMT-ABC Notation）的方法，旨在保持多个音乐音轨之间的一致性。我们的贡献包括一系列能够处理 8192 个标记的模型，覆盖了训练集中 90％的符号音乐数据。此外，我们还研究了符号音乐缩放定律（SMS Law）对模型性能的影响。研究结果表明了音乐生成领域未来研究的一个有前途的方向，并通过我们的开源贡献为社区主导的研究提供了丰富的资源。

    Apr, 2024

  • 主题变换器：带主题条件的符号音乐生成器

    本文提出了一种基于主题的条件控制机制，通过深度学习的对比学习和聚类技术自动提取音乐片段中的主题材料，并在序列到序列编码器 / 解码器结构中使用了一种新的门控并行注意力模块来更有效地考虑给定的感应主题材料，以生成具有重复和合理变化的多声部流行钢琴音乐。

    Nov, 2021

  • 使用 Transformer 在音乐流媒体服务中生成混音曲目

    Deezer 发布的个性化播放列表生成系统 Track Mix 介绍。该系统通过使用 Transformer 模型，根据用户的初始音乐曲目生成类似的 “混音” 播放列表，以增强用户在 Deezer 上的音乐发现体验。

    Jul, 2023

  • 可控音乐变换器生成视频背景音乐

    本文提出了一种基于 Controllable Music Transformer 的视频背景音乐生成方法，该方法考虑到了视频与背景音乐之间的韵律一致性，可以同时实现对音乐类型、乐器等因素的全局与局部控制，生成的音乐具有较好的兼容性和卓越的质量。

    Nov, 2021

  • MMM：生成遮蔽动作模型

    基于掩码动作模型的新颖且简单的 MMM 运动生成范例旨在解决实时性、高保真度和动作可编辑性之间的权衡。通过将 3D 人体动作转换成潜空间中的离散标记序列以及根据预计算的文本标记条件预测随机掩码动作标记的条件掩码动画变换器，MMM 明确捕捉动作标记之间的内在依赖性和动作标记与文本标记之间的语义映射，并实现了与细粒度文本描述高度一致的多个动作标记的并行和迭代解码，从而同时实现了高保真度和高速度的动作生成。此外，MMM 具有固有的动作可编辑性，只需在需要编辑的位置放置掩码标记，即可自动填充空白部分并保证编辑和非编辑部分之间的平滑过渡。对 HumanML3D 和 KIT-ML 数据集进行的大量实验表明 MMM 在生成高质量动画方面超过了当前领先的方法（FID 得分分别为 0.08 和 0.429），同时还提供了诸如身体部位修改、动作插值和长动作序列合成等先进的编辑功能。此外，与可编辑动作扩散模型相比，MMM 在单个中档 GPU 上的速度提高了两个数量级。

    Dec, 2023

  • MuseGAN: 多轨序列生成对抗网络用于符号音乐生成和伴奏

    本文提出了三个基于生成对抗网络的符号化多轨音乐生成模型，并通过客观和主观的评估方法证明了这些模型的有效性。此外，该文还介绍了一些评估生成结果的标准，并通过与人类协作音乐生成的实验进行探讨。

    Sep, 2017

  • 互动背景下的音乐生成调查

    近年来，机器学习，特别是生成对抗神经网络（GANs）和基于注意力的神经网络（transformers），已成功用于作曲和生成音乐，包括旋律和多声部作品。然而，现有研究主要集中在风格复制和转换的问题上，并未涉及到人机共同创作和评估。本文综述了音乐表征、特征分析、启发式算法、统计和参数建模，人类和自动化评估措施，并讨论了哪种方法和模型最适合于实时互动。

    Feb, 2024