IJCAIMay, 2022

Sound2Synth: 基于调频合成器参数估计的声音解释

PDF
TL;DR提出了一种基于多模式深度学习的 Sound2Synth 管道以及专门设计的 Prime-Dilated 卷积网络结构解决了合成器参数估计问题，实现了 Dexed 模拟器上的最佳效果及首个真实世界的应用结果。
synthesizerelectronic musical instrumentparameters configurationtimbredeep learning
发现论文，激发创造
  • 基于频率调制的可调和可解释声音合成的神经架构搜索

    利用神经架构搜索技术 (NAS)，本研究提出了一种不同 iable frequency modulation (FM) 合成器，该合成器可自动地从声音中发展出可以调的合成器，并且可以实现更好的效果比手工合成器。

    May, 2023

  • SynthScribe：深度多模态合成器音频检索与探索工具

    SynthScribe 是一个基于多模态深度学习的全栈系统，通过解决搜索现有声音、创造全新声音和对给定声音进行有意义修改等问题，以更高层次表达用户意图。用户研究结果显示 SynthScribe 能够可靠地检索和修改声音，并能创造全新声音，拓展音乐家的创造空间。

    Dec, 2023

  • 基于频谱扩散的多乐器音乐合成

    本文介绍了利用神经合成器实时生成任意乐器和音符组合的音频，其具有互动性和表现力，使用 MIDI 序列进行训练，采用两阶段过程转换为声谱图，然后通过生成对抗网络（GAN）声谱图反演器将其转化为音频，发现 DDPM 方法在质量和重建等方面具有显著的优势。

    Jun, 2022

  • GPU 可用的模块化合成器中的十亿音频声音

    该研究介绍了一个包含 10 亿个可合成声音及音频参数的多模态音频语料库，提出了一个新的基于排名的音频表示评估标准，并且采用新的综合方法，提高了合成器参数优化的精度。

    Apr, 2021

  • 通过合成器编程实现创造性的文本 - 音频生成

    我们提出了一种文本到音频生成方法（CTAG），该方法利用具有仅有 78 个参数的虚拟模块化声音合成器，通过迭代更新合成器的参数，生成易于检查和调整的高质量音频渲染，其中产生的声音更抽象，捕捉了基本概念特征而非细粒度声学细节，类似于简单的素描可以生动地传达视觉概念。我们的研究结果显示 CTAG 生成的声音独特，并被视为艺术性的，同时也可以类似地识别为最近的神经音频合成模型，使其成为一种有价值且互补的工具。

    Jun, 2024

  • 灵活音色控制的神经音乐合成

    本研究提出了一种基于神经网络的音乐合成模型，并使用具有灵活音色控制的嵌入学习来实现乐器的多样性和交互。

    Nov, 2018

  • 神经参数化唱歌合成器

    利用基于 WaveNet 架构的新型合成模型，对参数声码器产生的特征进行建模，并使用混合密度输出，实现对每个帧的预测，避免了过度拟合，在预测错误的情况下进行自回归生成算法的正则化，成功将和声、非周期性和有声 / 无声组件预测在一起，比现有的参数化统计方法和拼接方法更为有效。

    Apr, 2017

  • DrumGAN: 使用生成对抗网络与音色特征条件合成鼓声

    本文采用生成对抗网络（GAN）实现打击乐器声音的音频合成，在公开特征提取器计算的感知特征的基础上进行模型输入条件化，从而实现对音频合成的直观控制。实验结果表明，相对于基于 U-Net 框架的特定原始工作，我们的方法显着地提高了生成鼓样品的质量，并且输入的条件确实塑造了声音的感知特性。

    Aug, 2020

  • HyperGANStrument：使用无论音高如何均不变的超网络进行乐器声音合成与编辑

    HyperGANStrument 通过引入一个与音调无关的超网络，来调节预训练的 GANStrument 生成器的权重，实现了对用户输入音频进行重建的能力的提升，并结合对超网络的敌对微调来改善生成器的重建准确性和多样性，从而不仅增强了 GANStrument 的生成能力，还显著提高了生成音频的可编辑性。

    Jan, 2024

  • SING：符号到乐器神经生成器

    本研究提出了一种基于深度学习的轻量级神经音频合成器 SING，其可以通过单一解码器从近 1000 种乐器中生成音符，并且通过新的损失函数将生成的和目标波形的对数谱距离最小化，提高了音质的感知品质。与基于 WaveNet 的最新自动编码器相比，在训练和推理方面分别快 32 倍和快 2500 倍。

    Oct, 2018