ICLRNov, 2018

TimbreTron: 一种用于音乐音色转移的 WaveNet (CycleGAN (CQT (Audio))) 管道

PDF
TL;DR本文介绍一种名为 TimbreTron 的音乐音色转换方法，它使用基于图像领域的风格转移技术，将音频信号的时频表示进行转换，然后使用有条件的 WaveNet 合成器生成高质量的波形。我们还介绍了 Constant Q Transform (CQT) 表示法，它在人类知觉评估中可确保转移音色，同时保留其他音乐内容，适用于卷积架构。
发现论文，激发创造
  • 音色陷阱：一种用于不受乐器限制的音乐转录的低资源框架

    Timbre-Trap 是一个新型框架，通过利用音高和音色之间的强分离性，将音乐转录和音频重建相统一。我们通过训练一个 U-Net 模型，同时估计音高显著性和重建复杂谱系数，通过简单的切换机制在解码阶段选择其中之一的输出。我们证明了该框架的性能可与最先进的无特定乐器转录方法相媲美，而只需要少量的带注释数据。

    Sep, 2023

  • 灵活音色控制的神经音乐合成

    本研究提出了一种基于神经网络的音乐合成模型，并使用具有灵活音色控制的嵌入学习来实现乐器的多样性和交互。

    Nov, 2018

  • 通过解耦音色表示实现音乐作曲风格转移

    本文介绍一种基于深度学习的音乐曲目排列模型，通过对乐曲音频的编码和解码预测其乐谱，并使用解缠技术将其中代表音乐内容和乐器的因素分离，实现曲式转换。

    May, 2019

  • 音频谱图的神经风格转移

    使用类似于艺术风格转移的方法，从随机噪声输入信号开始迭代地使用反向传播来优化声音以符合感兴趣的预训练神经架构的筛选器输出，实现了新声音的创造，展示了两种不同的任务，达到了带宽扩展 / 压缩和从歌声到乐器的音色转移。该方法的特点是，使用相同的参数集合，单个架构可以生成这些不同的音频风格转移类型，而不需要不同的复杂手动调整的信号处理管道

    Jan, 2018

  • 零样本音乐源分离、转录和合成的统一模型

    通过一个三合一的统一模型来对音频进行分离、转录和综合，采用一种 pitch-timbre 分离模块来更好地计算音源之间的关系，从而实现零样本学习。

    Aug, 2021

  • 基于顺序迁移学习的 fMRI 数据解码听到和想象中的音色

    使用顺序迁移学习框架的转换器，可以有效地解码音乐音色，形成一种比现有方法更优的 fMRI 数据序列转换框架，用于预测不同 fMRI 数据序列是否记录了相同的音频音色。

    May, 2023

  • 用于多对多音色转换的调制变分自编码器

    本文介绍了使用 Modulated Variational auto-Encoders (MoVE) 在音乐中实现 timbre transfer 的方法，通过使用 Feature-wise Linear Modulation (FiLM) 和 Maximun Mean Discrepancy 减少对抗网络的需要，最终实现了 multi-domain transfer。

    Sep, 2018

  • 利用卷积神经网络进行音乐音频信号的音色分析

    探究如何利用卷积神经网络 (CNNs) 从对数 - 梅尔幅度谱图中有效地学习音色表示，提出了一种设计策略，旨在捕捉用于学习音质的相关时频上下文，并且设计了多个基于该策略的 CNN 体系结构。这些体系结构成功地应用于与音色相关的不同研究任务。

    Mar, 2017

  • 有监督音乐转录的不变性和数据增强

    本文探讨了基于帧的音乐转录的各种模型，重点在于达到人类录音的最新的方法。本文中讨论的具有平移不变性的网络，结合了传统的滤波器和卷积神经网络，在 2017 年 MIREX 多基频估计评估测试中成为最佳性能模型。本类模型在 log 频率域中共享参数，利用音乐的频率不变性来减少模型参数数量并避免对训练数据的过度拟合。本文中的所有模型都是通过 MusicNet 数据集中具有标记的数据进行监督训练的，并通过随机保持标签的音调变换进行增强。

    Nov, 2017

  • 使用 WaveNet 自编码器进行音乐音符的神经音频合成

    本研究提出了一种基于 WaveNet 风格自编码器的新型音频模型，进一步介绍了一个规模较大质量较高的音乐数据集 NSynth。使用 NSynth 数据集，我们证明 WaveNet 自编码器比使用频谱自编码器基线的性能有显著提高，同时演示了该模型学习嵌入的能力，实现了在音色上的差值并创造了新类型的逼真和有表现力的声音。

    Apr, 2017