Jun, 2023

基于帧级频谱处理的相位器效果可微灰盒建模

PDF
TL;DR本文提出了一种基于可微分数字信号处理的模型，用于建模像移相器这样控制信号具有低频震荡的调制音效，模型以时间变化频率域滤波器为基础，通过短帧处理来实现。研究发现最佳的帧长与目标效果的速率和瞬态衰减时间有关，但在推理时可以改变帧长而不会对准确性产生显着影响。
machine learninganalog audio effectsphaser effectsdigital signal processingtime-varying filters
发现论文，激发创造
  • 基于低频振荡器的音频效果的调制提取

    本文提出了一个基于神经网络的提取任意低频振荡信号的框架，该框架能够跨越多种数字音频效果器、参数设置和乐器配置，提取不受限制的低频振荡信号。此外，本文还展示了如何将提取模型与一个简单的处理网络相结合，仅使用干燥信号和混响信号对未见过的模拟或数字低频振荡驱动音频效果进行端到端的建模。

    May, 2023

  • 用时间变化的特征调制建模黑盒音频效果

    该研究提出了一种将时间变化的特征线性调制整合进现有的时间卷积背骨架中的方法，以更准确地捕获长时间尺度上的音频效应，从而增强深度学习方法对音频效应的建模能力。

    Nov, 2022

  • CONMOD：可控神经框架模拟效果

    利用深度学习模型，我们引入了可控的神经基准调制效果 (CONMOD) 来模拟各种低频振荡驱动的效果，并通过控制参数实现对产出的操作，同时在学习两种独特相移效果的连续嵌入空间方面超越了既有研究，为提升现代低频振荡驱动音频效果的创造力提供了机会。

    Jun, 2024

  • 非平稳时间序列的相位驱动领域通用学习

    基于我们观察到的非稳态统计与相位信息的内在联系，我们提出了一种时间序列学习框架 PhASER，包括相位增强、分离特征编码、特征广播等元素，以增强学习模型对不同分布的泛化能力，通过在人类活动识别、睡眠阶段分类和手势识别等 5 个数据集上的广泛评估，我们证明 PhASER 相对于现有基线方法平均提高了 5% 的性能，在某些情况下提高了 13%，此外，PhASER 的原则可以广泛应用于提升现有时间序列分类模型的泛化能力。

    Feb, 2024

  • 可微分时变音频系统的全极滤波器

    通过重新表达时间变化的全极滤波器以通过自身反向传播梯度，我们消除了在自动微分框架的技术限制下将滤波器实现到这一困难，从而可以在包含极点的任何音频系统中使用此实现以进行高效的梯度评估。我们演示了该实现在相移器、时变减法合成器和前向压缩器上对建模真实动态音频系统的训练效率和表现能力，并在此 https URL 上提供了我们的代码和经过训练的音频效果和合成模型的 VST 插件。

    Apr, 2024

  • 非平稳音频分析端到端概率推断

    该研究论文介绍了如何将时间频率分析和非负矩阵分解结合为具有非静止先验的谱混合高斯过程模型，以及如何将该非线性模型的状态空间表示形式化为无限时域高斯过程回归，并演示了该推理方案在各种任务上的优越性。

    Jan, 2019

  • 非可微音频效果的样式转移

    我们提出了一种深度学习方法用于音频制作风格匹配，可以与大多数常用框架中实现的效果一起使用，只要考虑的参数在连续范围内，能够通过逻辑编码音色信息来进行风格匹配。

    Sep, 2023

  • 具有保证稳定性的物理感知、概率模型降阶

    提出了一种基于生成模型的动力学系统简化方法，该方法能够实现高维、多尺度动态系统的降维，并在粒子动力学多尺度物理系统中进行有效预测。

    Jan, 2021

  • 相位匹配用于样本外泛化

    通过引入基于 Fourier 变换的结构性因果模型，本文旨在阐明领域泛化和频率组分之间的关系，将相位谱解释为半因果因素，将幅度谱解释为非因果因素。在多个基准测试中，通过对幅度谱进行扰动并建立空间关系来匹配相位组分，我们的方法在领域泛化和超出分布鲁棒性任务中取得了最先进的性能。

    Jul, 2023

  • 音频的生成滤波器模型

    本文提出了一种基于统计推断的生成模型 —— 产品滤波器（PoF）模型，它将音频频谱分解为对数频谱领域中的 “过滤器” 的稀疏线性组合，然后借助平均场方法进行后验推断，并采用变分 EM 算法估计模型的自由参数，实验证明 PoF 模型在音频处理和说话人识别任务中具有很高的潜力，因为它可以作为有效的无监督特征提取器。

    Dec, 2013