Jul, 2023

Polyffusion：一种带有内部和外部控制的多音谱生成扩散模型

HTML
PDF
TL;DR我们提出了Polyffusion，它是一种扩散模型，通过将音乐视为图像样的钢琴卷轴表示生成重音乐谱。该模型可以通过内部控制和外部控制两种范式对音乐进行可控制生成。实验结果表明，我们的模型明显优于现有的Transformer和基于采样的基线，并使用预训练的解耦表示作为外部条件可以产生更有效的控制。
发现论文，激发创造
  • 离散扩散概率模型用于符号音乐生成

    本文提出了一种使用Discrete DDPMs (D3PMs)直接生成Polyphonic Symbolic Music的方法，并展示了该模型的高质量和灵活的属性，并警示无法通过量化指标完全评估样本质量。

    May, 2023

  • GETMusic: 使用统一表示和扩散框架生成任何音乐曲目

    通过引入GETMusic统一音乐表示和扩散框架，该论文提出一种方法，名为GETScore，将音符表示为符号并以2D结构组织，可控制任何音乐轨道的生成和脱离其自回归行为，实现高质量的音乐生成。

    May, 2023

  • 高效神经音乐生成

    介绍了 MeLoDy，一种基于 LM 引导扩散模型，可以高效地生成音乐音频，并同时减少音乐 LM 中 95.7% 或 99.6% 的前向处理，实现了可持续且具有良好音质和文本相关性的音乐生成。

    May, 2023

  • 基于扩散的多乐器音乐合成的性能调整

    在音乐信息检索（MIR）中，从符号音乐表示生成多仪器音乐是一项重要任务。本研究的主要贡献是提出通过将生成模型的条件设置为特定表演和录音环境，从而增强多仪器合成的控制能力，从而更好地引导音色和风格。通过基于最先进的扩散音乐生成模型，我们引入了性能条件化，这是一种简单的工具，表明生成模型可以合成具有特定表演所使用的特定乐器的音乐的风格和音色。我们的原型采用各种仪器的非编目表演进行评估，实现了最先进的FAD真实性评分，并允许新的音色和风格控制。我们的项目页面，包括样本和演示，可在benadar293.github.io/midipm上找到。

    Sep, 2023

  • 扩散模型与指导梯度实现可控音乐制作

    我们展示了如何从扩散模型中进行条件生成，以解决音乐制作中的各种现实任务，包括音乐音频的延续、修复和再生，不同音乐轨道之间的平滑过渡以及将样式特征传递给现有音频片段。

    Nov, 2023

  • SYMPLEX: 使用单纯形扩散和词汇先验进行可控符号音乐生成

    我们提出了一种基于单纯扩散的快速可控符号音乐生成新方法，该方法与自然语言处理领域的目标相结合，应用于使用无序表示生成4小节多乐器音乐循环。我们展示了我们的模型可以通过词汇先验进行驾驭，从而在音乐生成过程中提供了可观的控制水平，例如，填充时间和音高以及选择乐器，而无需特定任务的模型适应或应用外在控制。

    May, 2024

  • DITTO-2: 音乐生成的蒸馏漫扩推理时间优化

    提出了Distilled Diffusion Inference-Time T-Optimization（DITTO-2）方法，以实现快于实时的可控音乐生成，包括音乐修补、扩展、强度、旋律和音乐结构控制，并将该方法应用于最大化文本一致性的新应用。

    May, 2024

  • MeLFusion: 使用扩散模型合成基于图像和语言线索的音乐

    音乐综合，机器学习模型，MeLFusion，视觉信息，和IMSM对生成的音乐质量产生显著的影响。

    Jun, 2024

  • Diff-A-Riff: 音乐伴奏共创技术基于潜在扩散模型

    介绍了基于深度生成模型的音乐生成方法Diff-A-Riff，可通过音频参考、文本提示或两者控制，生成适应任何音乐背景的高质量器乐伴奏，并在48kHz伪立体声音频的基础上显著减少推断时间和内存使用。

    Jun, 2024

  • 基于图形提示的MIDI受控音乐生成：面向基于图像的扩散修复

    通过用户友好的图形界面，本研究探讨了使用 Hourglass Diffusion Transformer（HDiT）模型在 MIDI 钢琴卷帘图像上进行盖章区域修复的方法，并通过在特定区域添加额外噪音来增强音符生成。该方法通过像素空间的线性缩放以提供直观和可解释的控制，而不需要操作预训练自编码器提供的压缩潜在空间，并展示了其在旋律、伴奏和延续音符填充方面的成果，同时帮助增加音符密度以生成符合用户规格要求的音乐结构，甚至在这些结构超出训练数据分布的情况下仍然有效。

    Jul, 2024