本研究提出了一种基于神经网络的音乐合成模型，并使用具有灵活音色控制的嵌入学习来实现乐器的多样性和交互。

Nov, 2018

提出了一种基于多模式深度学习的 Sound2Synth 管道以及专门设计的 Prime-Dilated 卷积网络结构解决了合成器参数估计问题，实现了 Dexed 模拟器上的最佳效果及首个真实世界的应用结果。

May, 2022

本研究提出了一种基于 WaveNet 风格自编码器的新型音频模型，进一步介绍了一个规模较大质量较高的音乐数据集 NSynth。使用 NSynth 数据集，我们证明 WaveNet 自编码器比使用频谱自编码器基线的性能有显著提高，同时演示了该模型学习嵌入的能力，实现了在音色上的差值并创造了新类型的逼真和有表现力的声音。

Apr, 2017

通过使用最近提出的无注意力聚焦调制网络（FocalNets），这篇论文在音频领域首次将 FocalNets 应用于环境声音分类任务，评估了其可解释性在流行的 ESC-50 数据集上的性能。与类似规模的视觉变换器相比，我们的方法在准确性和可解释性方面更加出色，并且在音频领域中针对事后解释的方法 PIQ 具有竞争力。

Feb, 2024

本文介绍了利用神经合成器实时生成任意乐器和音符组合的音频，其具有互动性和表现力，使用 MIDI 序列进行训练，采用两阶段过程转换为声谱图，然后通过生成对抗网络（GAN）声谱图反演器将其转化为音频，发现 DDPM 方法在质量和重建等方面具有显著的优势。

Jun, 2022

本文介绍了一种基于变分自编码器和归一化流的新型音频合成器控制形式，以寻找音频合成器的组织潜在声音空间并构建可逆映射到其参数空间的方法，能够同时解决自动参数推断、宏控制学习和基于音频预设的探索问题。实验证明其在参数推断和音频重建方面的优越性，同时还能学习到合成器的语义控制，具有广泛的创意应用价值。

Jul, 2019

本文通过重新思考可微分 NAS 的三个自由度：操作级，深度级和宽度级，提出了一种新的方法，名为 Three-Freedom NAS（TF-NAS），以实现良好的分类准确性和精确的延迟约束。该方法还包括双采样搜索算法、汇流连接搜索空间和弹性缩放策略。在 ImageNet 实验中证明了 TF-NAS 的有效性，尤其是 TF-NAS-A 在 1.8 天内只用 1 个 Titan RTX GPU 时间就获得了 76.9％的顶部 1 准确度，实现了最新的成果。

Aug, 2020

利用基于 WaveNet 架构的新型合成模型，对参数声码器产生的特征进行建模，并使用混合密度输出，实现对每个帧的预测，避免了过度拟合，在预测错误的情况下进行自回归生成算法的正则化，成功将和声、非周期性和有声 / 无声组件预测在一起，比现有的参数化统计方法和拼接方法更为有效。

Apr, 2017

我们提出了一种文本到音频生成方法（CTAG），该方法利用具有仅有 78 个参数的虚拟模块化声音合成器，通过迭代更新合成器的参数，生成易于检查和调整的高质量音频渲染，其中产生的声音更抽象，捕捉了基本概念特征而非细粒度声学细节，类似于简单的素描可以生动地传达视觉概念。我们的研究结果显示 CTAG 生成的声音独特，并被视为艺术性的，同时也可以类似地识别为最近的神经音频合成模型，使其成为一种有价值且互补的工具。

Jun, 2024

本文介绍了在频谱域中建模日志幅度和瞬时频率可提高 GAN 在音频合成方面的表现，并通过 NSynth 数据集的大量实证研究表明，GAN 能够比强 WaveNet 基线在自动化和人工评估指标上表现更好，而且比自回归模型产生的音频快几个数量级。

Feb, 2019