ICLRDec, 2013

音频的生成滤波器模型

PDF
TL;DR本文提出了一种基于统计推断的生成模型 —— 产品滤波器（PoF）模型，它将音频频谱分解为对数频谱领域中的 “过滤器” 的稀疏线性组合，然后借助平均场方法进行后验推断，并采用变分 EM 算法估计模型的自由参数，实验证明 PoF 模型在音频处理和说话人识别任务中具有很高的潜力，因为它可以作为有效的无监督特征提取器。
product-of-filtersgenerative modelaudio spectrahomomorphic filteringunsupervised feature extractor
发现论文，激发创造
  • 非平稳音频分析端到端概率推断

    该研究论文介绍了如何将时间频率分析和非负矩阵分解结合为具有非静止先验的谱混合高斯过程模型，以及如何将该非线性模型的状态空间表示形式化为无限时域高斯过程回归，并演示了该推理方案在各种任务上的优越性。

    Jan, 2019

  • MelNet: 频域音频生成模型

    利用二维时频表示，概率模型和多尺度生成，设计了一个能够捕捉高时间尺度结构的模型，可以在各种音频生成任务中达到比以往更好的效果。

    Jun, 2019

  • 双通道滤波网络：面向语音分离的说话人感知建模

    本文中，我们提出一种名为双路滤波器网络的新型模型，它由说话者模块和分离模块组成，旨在改善语音分离的性能，避免排列不变性训练的问题，并在 DPRNN-TasNet 基础上构建，不仅优于 DPRNN-TasNet，而且能够识别说话者信息。

    Jun, 2021

  • 从离散的标记到高保真音频的多频带扩散

    利用高保真多带扩散模型，基于低比特率离散表示生成任何类型的音频，其感知质量比最先进的生成技术更好。

    Aug, 2023

  • 声音的力量：稳定扩散下的音频反应视频生成

    通过使用包含变化的时间语义和大小的音频输入的 The Power of Sound (TPoS) 模型结合文本语义信息和经过预训练的音频编码器的顺序音频嵌入，TPoS 方法能够生成对音频有反应的视频内容，并在各个任务中展示了其有效性，与当前音频到视频生成领域的最新技术进行了比较。

    Sep, 2023

  • 针对通用声音分类的无数据知识蒸馏的特征丰富的音频模型反演

    本文提出了一种名为 FRAMI 的无数据知识蒸馏框架来进行通用音频分类任务，该方法利用 Mel-spectrograms 生成高质量且具有特征丰富性的音频样本，其在音频分类上的实验表明，通过重用隐藏状态可以显着提升学生模型的准确性。

    Mar, 2023

  • 基于自动化和规范化的高斯过程融合的通用专家积

    本文提出了广义专家乘积 (gPoE) 框架，用于结合多个概率模型的预测，通过分析和实验证明，Gaussian processes 一般的 gPoE 具有可伸缩性、表达力和鲁棒性，同时是现有的组合方案无法同时满足的。

    Oct, 2014

  • 可微分时变音频系统的全极滤波器

    通过重新表达时间变化的全极滤波器以通过自身反向传播梯度，我们消除了在自动微分框架的技术限制下将滤波器实现到这一困难，从而可以在包含极点的任何音频系统中使用此实现以进行高效的梯度评估。我们演示了该实现在相移器、时变减法合成器和前向压缩器上对建模真实动态音频系统的训练效率和表现能力，并在此 https URL 上提供了我们的代码和经过训练的音频效果和合成模型的 VST 插件。

    Apr, 2024

  • 高效音频分类的简单池化前端

    通过提出一系列简单的池化前端来消除输入音频特征中的时间冗余，从而提高音频分类任务的效率。实验证明，这些池化前端可将离线音频神经网络中浮点操作的数量减少超过一半，而音频分类性能仍然保持不变或略有提高。

    Oct, 2022

  • 基于低频振荡器的音频效果的调制提取

    本文提出了一个基于神经网络的提取任意低频振荡信号的框架，该框架能够跨越多种数字音频效果器、参数设置和乐器配置，提取不受限制的低频振荡信号。此外，本文还展示了如何将提取模型与一个简单的处理网络相结合，仅使用干燥信号和混响信号对未见过的模拟或数字低频振荡驱动音频效果进行端到端的建模。

    May, 2023