Sep, 2023

基于扩散的多乐器音乐合成的性能调整

PDF
TL;DR在音乐信息检索（MIR）中，从符号音乐表示生成多仪器音乐是一项重要任务。本研究的主要贡献是提出通过将生成模型的条件设置为特定表演和录音环境，从而增强多仪器合成的控制能力，从而更好地引导音色和风格。通过基于最先进的扩散音乐生成模型，我们引入了性能条件化，这是一种简单的工具，表明生成模型可以合成具有特定表演所使用的特定乐器的音乐的风格和音色。我们的原型采用各种仪器的非编目表演进行评估，实现了最先进的 FAD 真实性评分，并允许新的音色和风格控制。我们的项目页面，包括样本和演示，可在 benadar293.github.io/midipm 上找到。
multi-instrument musicmusic information retrievalgenerative modelperformance conditioningtimbre and style control
发现论文，激发创造
  • 扩散模型与指导梯度实现可控音乐制作

    我们展示了如何从扩散模型中进行条件生成，以解决音乐制作中的各种现实任务，包括音乐音频的延续、修复和再生，不同音乐轨道之间的平滑过渡以及将样式特征传递给现有音频片段。

    Nov, 2023

  • 基于频谱扩散的多乐器音乐合成

    本文介绍了利用神经合成器实时生成任意乐器和音符组合的音频，其具有互动性和表现力，使用 MIDI 序列进行训练，采用两阶段过程转换为声谱图，然后通过生成对抗网络（GAN）声谱图反演器将其转化为音频，发现 DDPM 方法在质量和重建等方面具有显著的优势。

    Jun, 2022

  • 从离散的标记到高保真音频的多频带扩散

    利用高保真多带扩散模型，基于低比特率离散表示生成任何类型的音频，其感知质量比最先进的生成技术更好。

    Aug, 2023

  • 多条件扩散模型的音频生成

    我们提出了一种新的模型，通过包含额外条件（时间戳、语调曲线和能量曲线）作为文本的补充，增强了现有预训练文本转音频模型的可控性，实现了对生成音频的时间顺序、音高和能量的精细控制。通过使用可训练的控制条件编码器和可训练的融合网络，在保持预训练文本转音频模型权重不变的同时，将额外条件编码和融合。由于缺乏合适的数据集和评估指标，我们将现有数据集整合成一个包含音频和相应条件的新数据集，并使用一系列评估指标来评估可控性能。实验结果表明，我们的模型成功实现了细粒度控制，实现了可控的音频生成。音频样本和我们的数据集可在此 https URL 获取。

    Aug, 2023

  • SYMPLEX: 使用单纯形扩散和词汇先验进行可控符号音乐生成

    我们提出了一种基于单纯扩散的快速可控符号音乐生成新方法，该方法与自然语言处理领域的目标相结合，应用于使用无序表示生成 4 小节多乐器音乐循环。我们展示了我们的模型可以通过词汇先验进行驾驭，从而在音乐生成过程中提供了可观的控制水平，例如，填充时间和音高以及选择乐器，而无需特定任务的模型适应或应用外在控制。

    May, 2024

  • GTR-CTRL: 基于 Transformer 的吉他音乐生成中的乐器和类型调节

    本文介绍如何使用深度学习技术创造出吉他 Tablature 格式的音乐，实现了基于乐器和音乐风格的控制，证明在生成吉他专业音乐方面的相对效果。

    Feb, 2023

  • 音乐器乐演奏的条件源分离

    该研究提出一种音乐源分离方法，能够处理多个同时发声的乐器。该方法探讨了在主要源分离网络的不同级别应用条件技术，利用了存在或不存在于混音中的乐器和相应的视频流数据等两个额外的数据模态，以提升分离质量。

    Apr, 2020

  • 一种具有乐器特定输入表示和扩散绘制的表达性声学吉他声音合成

    通过使用定制化的输入表示方法，我们提出了一种表达丰富的声学吉他声音合成模型，该模型名为 guitarroll。通过扩散外推生成长期一致性的音频，我们的模型在音频质量方面优于基线模型，并比以前的主要工作生成更真实的音色声音。

    Jan, 2024

  • 有感演奏的学习：学习表达音乐表演

    本文提出了基于 LSTM 递归神经网络的直接演奏音乐生成方法，同时预测音符的表现力、时间和动态变化，取得了良好的主观效果，并得到了专业作曲家和音乐家的反馈。

    Aug, 2018

  • 通过潜在扩散实现低音伴奏生成

    我们提出了一种新颖的可控制系统，用于生成与任意输入音轨相匹配的单音轨，核心是音频自编码器有效地压缩音频波形样本成可逆的潜在表示，并且条件化的潜在扩散模型以输入音轨的潜在编码生成对应音轨的潜在编码，为了提供对生成样本音色的控制，我们引入了一种在扩散采样期间将潜在空间与用户提供的参考样式进行关联的技术，为了进一步提高音频质量，我们使用无分类器引导的方法避免在生成无界潜在空间时出现失真，我们使用配对的音轨混合组成的数据集对模型进行训练，定量实验证明，给定输入音轨，所提出的系统能够生成用户指定音色的低音线，我们的可控条件音频生成框架在帮助音乐制作方面迈出了重要的一步。

    Feb, 2024