Oct, 2023

情绪控制下的快速扩散生成对抗网络模型用于符号音乐生成

PDF
TL;DR我们提出了将扩散模型与生成对抗网络相结合的方法，旨在解决算法音乐生成中的情感控制和计算成本的问题。通过训练变分自编码器得到情感标签的符号音乐数据集的嵌入，并用其来训练扩散模型，我们成功地控制了扩散模型以生成具有特定情感的符号音乐，同时大幅提升了计算效率。
diffusion modelsymbolic musicgenerative modelsemotion controlcomputational cost
发现论文，激发创造
  • 使用扩散模型生成符号音乐

    本文提出了一种基于预训练变分自编码器的离散领域参数化的扩散模型训练技术，用于离散和连续领域的生成导致更优结果，并在应用于符号音乐领域时表现出很强的无条件生成和条件填充结果，相比基于自回归语言模型的连续嵌入操作更具可行性。

    Mar, 2021

  • 使用向量量化离散扩散模型进行特定作曲家风格的符号音乐生成

    通过将矢量量化变分自编码器（VQ-VAE）与离散扩散模型结合，我们提出了一种生成具有目标作曲家风格的符号音乐的方法，结果表明，我们的模型在满足给定条件的情况下以 72.36% 的高准确率生成符号音乐。

    Oct, 2023

  • 音乐指挥运动生成中的扩散模型驯服

    该论文提出了 Diffusion-Conductor，它是一种基于 DDIM 的新方法，用于从给定的交响乐中生成乐队指挥的运动，并使用几种新的测量标准进行评估。

    Jun, 2023

  • 扩散模型与指导梯度实现可控音乐制作

    我们展示了如何从扩散模型中进行条件生成，以解决音乐制作中的各种现实任务，包括音乐音频的延续、修复和再生，不同音乐轨道之间的平滑过渡以及将样式特征传递给现有音频片段。

    Nov, 2023

  • 离散扩散概率模型用于符号音乐生成

    本文提出了一种使用 Discrete DDPMs (D3PMs) 直接生成 Polyphonic Symbolic Music 的方法，并展示了该模型的高质量和灵活的属性，并警示无法通过量化指标完全评估样本质量。

    May, 2023

  • 基于频谱扩散的多乐器音乐合成

    本文介绍了利用神经合成器实时生成任意乐器和音符组合的音频，其具有互动性和表现力，使用 MIDI 序列进行训练，采用两阶段过程转换为声谱图，然后通过生成对抗网络（GAN）声谱图反演器将其转化为音频，发现 DDPM 方法在质量和重建等方面具有显著的优势。

    Jun, 2022

  • 符号音乐风格转换与 CycleGAN

    本文介绍了使用生成模型（如变分自编码器和生成对抗网络）将基于样式和域的转换技术应用于图像和音乐，并利用具有附加鉴别器的 GAN 模型成功实现了音乐流派转换。该文是 GANs 首次应用于音乐域转换的研究。

    Sep, 2018

  • 基于连续情感条件的符号音乐生成

    本篇论文提出了一种新的方法用于生成多乐器符号音乐并能获得更高的情感表达，该方法利用了一个基于变换器的连续情感标签，同时，还提供了一个带有情感标签的大规模符号音乐数据集，并通过音符预测精度和情感平面的回归任务进行了数量化评估，结果表明我们的方法超越了当前技术水平。

    Mar, 2022

  • MuseGAN: 多轨序列生成对抗网络用于符号音乐生成和伴奏

    本文提出了三个基于生成对抗网络的符号化多轨音乐生成模型，并通过客观和主观的评估方法证明了这些模型的有效性。此外，该文还介绍了一些评估生成结果的标准，并通过与人类协作音乐生成的实验进行探讨。

    Sep, 2017

  • SYMPLEX: 使用单纯形扩散和词汇先验进行可控符号音乐生成

    我们提出了一种基于单纯扩散的快速可控符号音乐生成新方法，该方法与自然语言处理领域的目标相结合，应用于使用无序表示生成 4 小节多乐器音乐循环。我们展示了我们的模型可以通过词汇先验进行驾驭，从而在音乐生成过程中提供了可观的控制水平，例如，填充时间和音高以及选择乐器，而无需特定任务的模型适应或应用外在控制。

    May, 2024