Jul, 2019

基于归一化流的通用音频合成器控制

PDF
TL;DR本文介绍了一种基于变分自编码器和归一化流的新型音频合成器控制形式，以寻找音频合成器的组织潜在声音空间并构建可逆映射到其参数空间的方法，能够同时解决自动参数推断、宏控制学习和基于音频预设的探索问题。实验证明其在参数推断和音频重建方面的优越性，同时还能学习到合成器的语义控制，具有广泛的创意应用价值。
audio synthesizerslatent audio spacevariational auto-encodersnormalizing flowsparameter inference
发现论文，激发创造
  • 离散序列的潜在正则化流

    提出了一种基于 VAE 的生成模型，该模型联合训练了基于正则化流的潜在空间分布和到观察到的离散空间的随机映射，解决了直接对离散序列应用正则化流所面临的挑战，并具有可比拟的性能和流灵活性。

    Jan, 2019

  • 深度编码器 - 解码器模型用于无监督学习可控语音合成

    本文针对非文字语音变化很少被注释的情况，研究了无监督学习控制统计语音合成的方法，包括将无监督训练试探法解释为某些自编码器模型中的变分推理等方式。研究发现，这些新的概率诠释具有重要含义，并将几种方法应用于情感语音合成的音频建模，发现无监督学习的表达控制方法（无需情感标签）在很多方面可以与之前的最佳监督方案匹配或超越之。

    Jul, 2018

  • 一种用于可控解剖虚拟人群合成的条件流变分自动编码器

    使用带有规范化流的条件变分自编码器 (cVAE) 来进行大量人体结构的虚拟人群条件合成，在临床应用中优越表现。

    Jun, 2023

  • AE-Flow：自动编码器归一化流

    我们引入一种新的训练范式：自编码器归一化流（AE-Flow），它通过添加重构损失，使模型使用条件信息重构音频样本，结果表明该方法在正常化流的训练中系统地提高了说话者相似性和自然度。

    Dec, 2023

  • SurVAE Flows: 通过满射函数填补 VAE 与 Flow 模型之间的鸿沟

    本文提出了 SurVAE Flows 作为一个模块化的框架来组合深度学习中的生成模型 Normalizing flows 和 Variational autoencoders，通过使用双射变换来建模密度和可逆变换，桥接了两种模型之间的差距，同时介绍了一些通用操作。

    Jul, 2020

  • 生成音色空间：利用感知度量规则化变分自编码器

    本文介绍如何使用 VAE 构建生成性音质空间，可以分析新的乐器，同时能够从该空间的任何点合成音频，并介绍了一种基于描述符的综合方法。

    May, 2018

  • 学习可解释的控制式复调音乐生成的表示

    本文提出了一种基于 VAE 的音乐分离模型，用于将和弦和纹理这两个可解释的因子分离出来，从而实现音乐生成过程的可控，在生成音乐时具有广泛的应用，包括作曲风格转换、纹理变化和伴奏编排，并通过客观和主观评价证明了该方法的成功分离和高质量的音乐生成。

    Aug, 2020

  • 基于注意力平面归一化流的变分自编码器的物理整合生成建模

    物理整合生成建模是一种混合或灰箱建模，其中我们用物理知识来增强数据驱动模型，使其在受控的方式下产生符合物理法则的输出，从而提高外推能力和解释性。本文旨在通过使用变分自动编码器作为生成模型来改善物理整合生成模型的重建保真度和对噪声的鲁棒性，通过计划正则化流来学习物理和可训练数据驱动组件的潜在后验分布，同时在编码器中引入基于缩放点乘注意力的上下文信息以减轻潜在向量中噪声的不利影响并使模型更加鲁棒。我们在人体运动数据集上对模型进行了实证评估，结果验证了我们提出的模型在重建质量和对模型注入噪声的鲁棒性方面的有效性。

    Apr, 2024

  • 使用深度学习架构进行潜在音频空间探索的声音设计策略

    本研究探讨了 Variational Autoencoders（VAEs）在将原始音频数据中生成潜在音频空间时的应用，提出了三种探索潜在音频空间和音色的策略以应用于声音设计，在为声音和音乐实践中利用潜在音频空间的艺术方法和策略方面开展了初步探索。

    May, 2023

  • ControlVAE: 可控变分自编码器

    提出控制变分自编码器框架 ControlVAE，该框架使用基于自动控制理论的控制器自动调节 VAE 目标中的权重，以改进生成模型的表现，并在语言建模，解缠杂表示学习和图像生成等三个应用中进行评估，结果表明 ControlVAE 可以实现更好的解缠杂和重建质量。

    Apr, 2020