提出了一种基于多模式深度学习的 Sound2Synth 管道以及专门设计的 Prime-Dilated 卷积网络结构解决了合成器参数估计问题，实现了 Dexed 模拟器上的最佳效果及首个真实世界的应用结果。

May, 2022

本论文介绍了一种名为 LyricJam Sonic 的创新型音乐创作工具，采用双模式人工智能驱动方法，具可自主或现场演出的功能，能够帮助电子音乐家重新发掘他们以前的录音，并在实时中创作新的音乐作品。

Oct, 2022

本文介绍了利用神经合成器实时生成任意乐器和音符组合的音频，其具有互动性和表现力，使用 MIDI 序列进行训练，采用两阶段过程转换为声谱图，然后通过生成对抗网络（GAN）声谱图反演器将其转化为音频，发现 DDPM 方法在质量和重建等方面具有显著的优势。

Jun, 2022

我们提出了一种文本到音频生成方法（CTAG），该方法利用具有仅有 78 个参数的虚拟模块化声音合成器，通过迭代更新合成器的参数，生成易于检查和调整的高质量音频渲染，其中产生的声音更抽象，捕捉了基本概念特征而非细粒度声学细节，类似于简单的素描可以生动地传达视觉概念。我们的研究结果显示 CTAG 生成的声音独特，并被视为艺术性的，同时也可以类似地识别为最近的神经音频合成模型，使其成为一种有价值且互补的工具。

Jun, 2024

通过创新的统一框架 CreativeSynth，将基于扩散模型的多模态输入协调和多任务合作引入艺术图像生成领域，以实现真实世界语义内容的逆向和实时样式转移，精确操纵图像样式和内容，同时保持原始模型参数的完整性，旨在提升艺术图像的保真度和保持其固有美学精髓，弥合生成模型与艺术精妙之间的差距，成为定制数字调色板。

Jan, 2024

该研究介绍了一个包含 10 亿个可合成声音及音频参数的多模态音频语料库，提出了一个新的基于排名的音频表示评估标准，并且采用新的综合方法，提高了合成器参数优化的精度。

Apr, 2021

本文介绍了 DeepSinger，这是一个从音乐网站中抓取数据训练的多语言、多歌手的歌唱声音合成系统，其特点包括自动化的对齐模型、基于 Transformer 的合成模型以及多语言、多歌手的支持

Jul, 2020

本文提出了一种高质量的歌唱合成器，它能够在有限的可用录音基础上模拟出一种声音，采用序列到序列的歌唱模型，并设计了一个多歌手框架来利用不同歌手的现有歌唱数据，以减轻歌唱评分不平衡的问题。此外，为了使编码器输出与歌手无关，我们加入了一个对抗性任务来保证模型的平衡性及多随机窗口鉴别器（MRWDs）以使网络成为 GAN。客观和主观的评估表明，所提出的合成器比基准测试能够产生更高质量的歌唱声音（MOS 值分别为 4.12 和 3.53）。特别是高音元音的表达得到了显著改善。

Jun, 2020

本研究提出了一种基于深度学习的轻量级神经音频合成器 SING，其可以通过单一解码器从近 1000 种乐器中生成音符，并且通过新的损失函数将生成的和目标波形的对数谱距离最小化，提高了音质的感知品质。与基于 WaveNet 的最新自动编码器相比，在训练和推理方面分别快 32 倍和快 2500 倍。

Oct, 2018

本研究提出了一种基于神经网络的音乐合成模型，并使用具有灵活音色控制的嵌入学习来实现乐器的多样性和交互。

Nov, 2018