本文介绍了利用神经合成器实时生成任意乐器和音符组合的音频，其具有互动性和表现力，使用 MIDI 序列进行训练，采用两阶段过程转换为声谱图，然后通过生成对抗网络（GAN）声谱图反演器将其转化为音频，发现 DDPM 方法在质量和重建等方面具有显著的优势。

Jun, 2022

本文介绍了 Differentiable Digital Signal Processing (DDSP) 库的使用，该库将传统信号处理元素与深度学习方法直接集成，以实现音频合成。作者通过使用内插模块的组合来演示 DDSP 的应用程序，如分离音高和响度的独立控制，可靠地推断未在训练中出现的音高，完全盲的混响消除，将提取出的房间声学转移到新环境以及在不同来源之间转换音色。

Jan, 2020

本研究提出了一种基于神经网络的音乐合成模型，并使用具有灵活音色控制的嵌入学习来实现乐器的多样性和交互。

Nov, 2018

本文提出了基于组成层次结构实现完整音乐作品建模的方法，通过定义一种分层语言对流行歌曲的符号化表示进行建模。通过级联扩散模型训练了分层语言模型，实验证明该模型能够生成具有可识别的全局歌词 - 副歌结构和协调音的完整音乐作品，且音乐质量高于基准模型。此外，还展示了该模型具有灵活的可控性，用户可以通过从可解释的分层语言中采样或调整预训练的外部表示来控制音乐的流动。

May, 2024

提出了一种超轻量级的差分 DSP (DDSP) vocoder，该 vocoder 使用了一个经过联合优化的声学模型和 DSP vocoder，学习过程中不需要提取声道的光谱特征，实现了与神经 vocoder 相当的音频质量，同时作为一个 DSP vocoder 非常高效。在 2GHz 的 Intel Xeon CPU 上单线程运行时，无需任何硬件特定优化，C++ 实现的 FLOPS 达到 15 MFLOPS，相对于 MB-MelGAN 的 FLOPS，高出 340 倍，仅需 0.003 的 vocoder-only RTF 和 0.044 的总 RTF。

Jan, 2024

通过用户友好的图形界面，本研究探讨了使用 Hourglass Diffusion Transformer（HDiT）模型在 MIDI 钢琴卷帘图像上进行盖章区域修复的方法，并通过在特定区域添加额外噪音来增强音符生成。该方法通过像素空间的线性缩放以提供直观和可解释的控制，而不需要操作预训练自编码器提供的压缩潜在空间，并展示了其在旋律、伴奏和延续音符填充方面的成果，同时帮助增加音符密度以生成符合用户规格要求的音乐结构，甚至在这些结构超出训练数据分布的情况下仍然有效。

Jul, 2024

该研究使用 MAESTRO 数据集中的音符事件作为中间表示，训练了一系列的神经网络模型，用于转录、合成和生成具备连贯乐曲结构的音频波形，从而实现了跨六个数量级（0.1ms 到 100s）的音频合成。

Oct, 2018

本文提出了一种使用 Discrete DDPMs (D3PMs) 直接生成 Polyphonic Symbolic Music 的方法，并展示了该模型的高质量和灵活的属性，并警示无法通过量化指标完全评估样本质量。

May, 2023

本文提出了一种名为 NeuralDPS 的新型神经语音编码器，通过使用多带激励策略，控制噪声组分，调整语音的信噪比和扩大频带，该编码器可以在保持高语音质量的同时提高合成效率和降低噪声，达到与 WaveNet 相似的性能且至少比 WaveNet 合成速度快 280 倍。

Mar, 2022

本研究提出了一种基于 WaveNet 风格自编码器的新型音频模型，进一步介绍了一个规模较大质量较高的音乐数据集 NSynth。使用 NSynth 数据集，我们证明 WaveNet 自编码器比使用频谱自编码器基线的性能有显著提高，同时演示了该模型学习嵌入的能力，实现了在音色上的差值并创造了新类型的逼真和有表现力的声音。

Apr, 2017