DrumGAN: 使用生成对抗网络与音色特征条件合成鼓声

Aug, 2020

DrumGAN: 使用生成对抗网络与音色特征条件合成鼓声

DrumGAN: Synthesis of Drum Sounds With Timbral Feature Conditioning Using Generative Adversarial Networks

J. Nistal, S. Lattner, G. Richard

TL;DR本文采用生成对抗网络（GAN）实现打击乐器声音的音频合成，在公开特征提取器计算的感知特征的基础上进行模型输入条件化，从而实现对音频合成的直观控制。实验结果表明，相对于基于 U-Net 框架的特定原始工作，我们的方法显着地提高了生成鼓样品的质量，并且输入的条件确实塑造了声音的感知特性。

Abstract

Synthetic creation of drum sounds (e.g., in drum machines) is commonly performed using analog or digital synthesis, allowing a musician to sculpt the desired timbre modifying various parameters. Typically, such parameters control low-level features of the sound and often have no musica

drum sounds audio synthesis deep learning generative adversarial network perceptual features

发现论文，激发创造

基于生成对抗网络的音频到场景图像合成

通过使用生成对抗网络、谱范数、投影判别器和辅助分类器等技术，我们的模型可以更好地生成声音相关的图像，这表明我们的模型在一定程度上真正了解声音和图像之间的关系。

Aug, 2018

对抗性音频合成

本篇论文介绍了 WaveGAN，这是将 GANs 应用到无监督的原始音频波形合成中的第一个尝试。WaveGAN 能够合成具有全局一致性的音频波形，适用于音效生成，并且实验结果表明，它能够在没有标签的情况下学习生成一些可理解的单词和其他领域（如鸟类鸣叫、钢琴和鼓声等）的音频。

Feb, 2018

基于对抗学习的正弦波生成网络及应用：合成青蛙叫声以进行数据增强

该论文基于对抗学习提出生成模型，可用于合成信号，利于数据增强和数据分析。在实验中，研究了几种设计目标函数的方法，并使用真实和合成音频进行卷积神经网络训练，分类结果定性定量表明，该生成模型可以产生真实信号。

Jan, 2019

GANSynth：对抗神经音频合成

本文介绍了在频谱域中建模日志幅度和瞬时频率可提高 GAN 在音频合成方面的表现，并通过 NSynth 数据集的大量实证研究表明，GAN 能够比强 WaveNet 基线在自动化和人工评估指标上表现更好，而且比自回归模型产生的音频快几个数量级。

Feb, 2019

灵活音色控制的神经音乐合成

本研究提出了一种基于神经网络的音乐合成模型，并使用具有灵活音色控制的嵌入学习来实现乐器的多样性和交互。

Nov, 2018

生成对抗网络概述

本文概述了生成对抗网络在信号处理中的应用，讨论了 GANs 的训练方法和构建策略以及它们在 deep representations 学习中的表现和存在的挑战。

Oct, 2017

CRASH: 基于原始音频评分的生成式建模，用于可控的高分辨率鼓声合成

本文提出了一种基于得分的生成模型，利用扩散过程建模和条件 U-Net 逼近得分函数实现音频合成。该方法可以以高分辨率 44.1kHz 可控生成短小的打击声音，并且适用于多种采样方案，包括类条件采样和杂交声音生成。相比其他基于 GAN 的方法，该方法模型轻便、易于训练。

Jun, 2021

应用于音频合成中的时频特征对抗生成

本文研究 TF 表示的生成建模以及音频的生成，使用短时傅里叶变换讨论了在生成可逆的 TF 特征上合成音频的挑战和方法，并通过训练 GAN 演示了基于生成 TF 建模的潜力。

Feb, 2019

SEGAN: 语音增强生成对抗网络

本研究提出使用生成对抗网络进行语音增强，通过训练模型使其在波形级别对 28 个说话人和 40 种不同噪声条件进行增强，目的是解决当前技术只能处理少量特定噪声条件和依赖于一阶统计量的问题，实验证明该模型的可行性和有效性，未来可以进一步探索生成性结构用于提高语音增强的性能。

Mar, 2017

融合生成对抗网络的统计参数语音合成

本文介绍了一种使用生成对抗网络（GAN）的统计参数语音合成方法，相比于传统的最小生成误差训练算法，该方法能够更自然地生成语音波形，并有效缓解了生成语音参数的平滑问题。我们还研究了不同 GAN 之间的差异，并发现最小化 Earth-Mover 距离的 Wasserstein GAN 可以最大程度地提高合成语音的质量。

Sep, 2017