Mar, 2023

学习环境声音的程序化音频模型的通用框架

PDF
TL;DR本研究提出了 ProVE 框架，通过使用 Procedural (audio) Variational autoEncoder 来学习环境音的 Procedural Audio 模型，实现合成音效的更高逼真度，并通过可调参数保持对生成声音的控制，该框架包括两个阶段：音频类别表达和控制映射。通过对不同表面的脚步声效果的示例应用，实验结果表明，相对于传统的 Procedural Audio 模型和对抗生成网络方法，ProVE 模型在声音保真度上表现更好，从而成为声音设计工作流程的有效工具。
procedural audiovariational autoencoderframeworkcontrol mappingsound design
发现论文，激发创造
  • RAVE: 一种快速高质量神经音频合成的变分自编码器

    本文介绍了一种实时音频变分自动编码器 (RAVE)，允许快速且高质量的音频波形合成，采用多频段分解处理原始波形。通过后训练分析潜在空间，实现重构保真度与表示紧凑性之间的直接控制。例如对于音质转换和信号压缩等应用，该模型相比于现有模型表现更优。

    Nov, 2021

  • 利用预训练自编码器实现可解释的音乐音频原型学习

    我们提出了一种基于原型学习的可解释音乐音频分类模型 PECMAE。我们的模型基于之前的方法 APNet，它共同学习了自编码器和原型网络。与此不同，我们提出将两个训练过程解耦。这使我们能够利用在更大数据上预训练的自监督自编码器 EnCodecMAE 提供更好的泛化表示。我们在用于音乐乐器分类的数据集（Medley-Solos-DB）和流派识别（GTZAN 和更大的内部数据集）上评估我们的方法，后者是以前未用原型网络解决的更具挑战性的任务。我们发现，基于原型的模型保持了大部分基于自编码器嵌入的性能，而原型的谐波音受益于理解分类器的行为。

    Feb, 2024

  • 使用深度学习架构进行潜在音频空间探索的声音设计策略

    本研究探讨了 Variational Autoencoders（VAEs）在将原始音频数据中生成潜在音频空间时的应用，提出了三种探索潜在音频空间和音色的策略以应用于声音设计，在为声音和音乐实践中利用潜在音频空间的艺术方法和策略方面开展了初步探索。

    May, 2023

  • 一种用于语音增强的循环变分自编码器

    本文提出一种基于递归变分自编码器（RVAE）的语音增强的生成方法， 通过与非负矩阵分解噪声模型相结合，仅使用干净的语音信号训练深度生成语音模型， 并在测试时微调 RVAE 的编码器以近似给出噪声语音观测下的潜在变量的分布。与基于前馈完全连接体系结构的先前方法相比，所提出的递归深度生成语音模型引入了潜在变量上的后期时间动态，其在语音增强结果方面表现更好。

    Oct, 2019

  • 变分自编码器在环境声音感知中的成本敏感检测

    本文介绍了一种基于成本敏感的分类范式，通过选择分类器的超参数和变分自动编码器的结构来实现对假阳性率和假阴性率之间灵活控制，以检测使用简单嵌入式设备收集的声音数据集中蚊子的存在。

    Dec, 2017

  • 利用量化的细粒度 VAE 和自回归韵律先验生成多样且自然的文本语音样本

    本文提出了一种离散潜在空间的顺序先验方法，可以更自然地生成高度连续的语音，通过使用向量量化（VQ）对潜在特征进行离散化，并分别在结果上训练自回归（AR）先验模型，在听觉测试和自动语音识别（ASR）性能的客观指标方面，实验结果表明所提出的模型显著提高了随机样本生成的自然度，而且随机从所提出的模型中采样可以用作提高 ASR 性能的数据增强。

    Feb, 2020

  • 为语音生成与转换学习潜在表征

    使用变分自编码器实现了对自然语音生成过程的建模与学习，获得了较大突破。利用学习的潜在空间算术操作，实现了对语音的音素内容或说话人身份的无监督修改，无需平行监控数据。

    Apr, 2017

  • 面向音频 - 视觉导航的泛化音频表示

    该研究提出使用对比学习方法对音频编码器进行正则化以实现模型良好的扩展性，同时使用两种数据增强策略来增加训练声音，从而获得了 13.4% 在 Replica 和 12.2% 在 MP3D 的 SPL 性能增益。

    Jun, 2022

  • PIANOTREE VAE：多声部音乐的结构化表示学习

    本文提出了一种名为 PianoTree VAE 的新型树结构扩展 VAE 用于拟合多声部音乐学习，并通过实验验证了其（一）适用于多声部片段的语义有意义的潜在编码；（二）除了可接受的几何形状学习外，更具有令人满意的重构性能；（三）对下游音乐生成的多样性有益。

    Aug, 2020

  • 基于语言驱动的动态分层变分网络合成不同语调语音

    本研究提出了一种新的层次化有条件变分自编码器，用于生成声调特征，可用于合成语音信号，与现有技术相比具有更高的性能。

    May, 2019