Aug, 2024

DisMix：为源级音高和音色操控解构多种音乐乐器的混合

HTML
PDF
TL;DR本研究针对现有音高和音色解构方法对单一乐器音乐音频的局限性，提出了DisMix，一个生成框架，能够将音高和音色作为模块化构建块，构建源的旋律和乐器。我们发现通过操控这些解构的表示，可以生成新颖的乐器音高和音色组合，对丰富音频合成领域具有重要影响。
发现论文，激发创造
  • 通过潜在表示解缠深度音乐类比

    本文提出了一种显式约束的变分自编码器(EC2-VAE)，用于解决不同音乐片段之间的“类比”生成问题，该模型可以将潜在的高层次表示转移到其他音乐片段上，并成功进行了客观和主观评价。

    Jun, 2019

  • 学习可解释的控制式复调音乐生成的表示

    本文提出了一种基于VAE的音乐分离模型，用于将和弦和纹理这两个可解释的因子分离出来，从而实现音乐生成过程的可控，在生成音乐时具有广泛的应用，包括作曲风格转换、纹理变化和伴奏编排，并通过客观和主观评价证明了该方法的成功分离和高质量的音乐生成。

    Aug, 2020

  • 复合词变压器：学习在动态有向超图上组合全歌曲音乐

    该论文提出了一种新型Transformer解码器架构，其用于不同的前馈头来模拟不同类型的tokens，以及一种扩展-压缩技巧将邻近的tokens分组成复合单词的序列，表现出比现有模型更快和同等质量的学习能力.

    Jan, 2021

  • 零样本音乐源分离、转录和合成的统一模型

    通过一个三合一的统一模型来对音频进行分离、转录和综合，采用一种pitch-timbre分离模块来更好地计算音源之间的关系，从而实现零样本学习。

    Aug, 2021

  • 多轨音乐变换器

    提出了一种新型的多轨音乐表示方式，可以同时包含多种不同类型的乐器，并实现了基于音乐自注意力的实时即兴演奏，该方法在速度和内存占用方面都具有优势。

    Jul, 2022

  • 音色陷阱: 一种用于不受乐器限制的音乐转录的低资源框架

    Timbre-Trap是一个新型框架，通过利用音高和音色之间的强分离性，将音乐转录和音频重建相统一。我们通过训练一个U-Net模型，同时估计音高显著性和重建复杂谱系数，通过简单的切换机制在解码阶段选择其中之一的输出。我们证明了该框架的性能可与最先进的无特定乐器转录方法相媲美，而只需要少量的带注释数据。

    Sep, 2023

  • Diff-A-Riff: 音乐伴奏共创技术基于潜在扩散模型

    介绍了基于深度生成模型的音乐生成方法Diff-A-Riff，可通过音频参考、文本提示或两者控制，生成适应任何音乐背景的高质量器乐伴奏，并在48kHz伪立体声音频的基础上显著减少推断时间和内存使用。

    Jun, 2024

  • 印度古典音乐中旋律人声轮廓的层次生成建模

    本研究针对印度古典音乐中歌手人声旋律生成的不足，通过引入细致的音高轮廓作为中介表示，提出了GaMaDHaNi模块化双层层次结构模型。研究结果表明，该模型在音乐人机协作中可能表现更佳，可用于引导生成和粗音高调节等应用。

    Aug, 2024

  • 印度经典音乐中的旋律声线分层生成建模

    本研究解决了之前生成模型未能捕捉印度音乐演唱中旋律丰富性的不足问题。我们提出了一种名为GaMaDHaNi的模块化两级层次结构，通过精细量化的音高轮廓作为中介表示，来改善音频建模的效果。研究结果表明，使用音高轮廓作为中介表示可以提升人机协作的交互能力，为音乐生成和音高调节提供新的应用案例。

    Aug, 2024

  • 基于潜在扩散的多源音乐生成

    本研究解决了现有音乐生成模型无法生成丰富旋律的问题，并提出采用变分自编码器的多源潜在扩散模型（MSLDM）。该方法通过对每个乐器源进行独立编码，显著提高了音乐生成的质量和效率，实验结果表明，MSLDM优于现有的多源扩散模型（MSDM）。

    Sep, 2024