May, 2024

SYMPLEX: 使用单纯形扩散和词汇先验进行可控符号音乐生成

PDF
TL;DR我们提出了一种基于单纯扩散的快速可控符号音乐生成新方法，该方法与自然语言处理领域的目标相结合，应用于使用无序表示生成 4 小节多乐器音乐循环。我们展示了我们的模型可以通过词汇先验进行驾驭，从而在音乐生成过程中提供了可观的控制水平，例如，填充时间和音高以及选择乐器，而无需特定任务的模型适应或应用外在控制。
symbolic music generationsimplex diffusionprobabilitiesorderless representationvocabulary priors
发现论文，激发创造
  • 情绪控制下的快速扩散生成对抗网络模型用于符号音乐生成

    我们提出了将扩散模型与生成对抗网络相结合的方法，旨在解决算法音乐生成中的情感控制和计算成本的问题。通过训练变分自编码器得到情感标签的符号音乐数据集的嵌入，并用其来训练扩散模型，我们成功地控制了扩散模型以生成具有特定情感的符号音乐，同时大幅提升了计算效率。

    Oct, 2023

  • 使用扩散模型生成符号音乐

    本文提出了一种基于预训练变分自编码器的离散领域参数化的扩散模型训练技术，用于离散和连续领域的生成导致更优结果，并在应用于符号音乐领域时表现出很强的无条件生成和条件填充结果，相比基于自回归语言模型的连续嵌入操作更具可行性。

    Mar, 2021

  • 离散扩散概率模型用于符号音乐生成

    本文提出了一种使用 Discrete DDPMs (D3PMs) 直接生成 Polyphonic Symbolic Music 的方法，并展示了该模型的高质量和灵活的属性，并警示无法通过量化指标完全评估样本质量。

    May, 2023

  • 扩散模型与指导梯度实现可控音乐制作

    我们展示了如何从扩散模型中进行条件生成，以解决音乐制作中的各种现实任务，包括音乐音频的延续、修复和再生，不同音乐轨道之间的平滑过渡以及将样式特征传递给现有音频片段。

    Nov, 2023

  • 基于级联扩散模型的符号音乐整曲层次生成

    本文提出了基于组成层次结构实现完整音乐作品建模的方法，通过定义一种分层语言对流行歌曲的符号化表示进行建模。通过级联扩散模型训练了分层语言模型，实验证明该模型能够生成具有可识别的全局歌词 - 副歌结构和协调音的完整音乐作品，且音乐质量高于基准模型。此外，还展示了该模型具有灵活的可控性，用户可以通过从可解释的分层语言中采样或调整预训练的外部表示来控制音乐的流动。

    May, 2024

  • 使用向量量化离散扩散模型进行特定作曲家风格的符号音乐生成

    通过将矢量量化变分自编码器（VQ-VAE）与离散扩散模型结合，我们提出了一种生成具有目标作曲家风格的符号音乐的方法，结果表明，我们的模型在满足给定条件的情况下以 72.36% 的高准确率生成符号音乐。

    Oct, 2023

  • 简单且可控的音乐生成

    本文介绍了 MusicGen 这个单一语言模型，能够生成高质量的音乐样本，实现对文本描述或旋律特征的有条件创作，并经过广泛的实证评估，表明其在标准的文本到音乐基准上优于其他模型。

    Jun, 2023

  • Moûsai: 长上下文潜在扩散的文本生成音乐

    本研究探索了扩散模型在生成音乐方面的潜力，提出了一种级联的潜在扩散方法来根据文本描述生成高质量的立体声音乐，同时开源相关代码和音频样本以促进领域内未来研究。

    Jan, 2023

  • 用非可微分规则引导扩散进行符号音乐生成

    我们研究了符号音乐生成中的非可微分规则引导问题，提出了一种名为 Stochastic Control Guidance (SCG) 的新型引导方法，以插拔方式与预训练的扩散模型结合使用，实现了对非可微分规则的无训练引导。我们还引入了具有高时间分辨率的潜在扩散架构，可与 SCG 以插拔方式相结合。与符号音乐生成的标准基线相比，该框架在音乐质量和基于规则的控制性能方面表现出明显的进步，优于当前各种场景下的最先进生成器。

    Feb, 2024

  • 基于频谱扩散的多乐器音乐合成

    本文介绍了利用神经合成器实时生成任意乐器和音符组合的音频，其具有互动性和表现力，使用 MIDI 序列进行训练，采用两阶段过程转换为声谱图，然后通过生成对抗网络（GAN）声谱图反演器将其转化为音频，发现 DDPM 方法在质量和重建等方面具有显著的优势。

    Jun, 2022