nnAudio：一个基于 1D 卷积神经网络的 GPU 音频到频谱图转换工具箱

Dec, 2019

nnAudio：一个基于 1D 卷积神经网络的 GPU 音频到频谱图转换工具箱

nnAudio: An on-the-fly GPU Audio to Spectrogram Conversion Toolbox Using 1D Convolution Neural Networks

Kin Wai Cheuk, Hans Anderson, Kat Agres, Dorien Herremans

TL;DR本文介绍了一种基于神经网络的工具箱 nnAudio，该工具箱可以将时间域转换为频率域，并可以在生成频谱图的同时进行反向传播，从而可以进行优化。实验结果表明，在使用 GPU 时，nnAudio 可将 waveform-to-spectrogram 转换时间显著缩短。

Abstract

Converting time domain waveforms to frequency domain spectrograms is typically considered to be a prepossessing step done before model training. This approach, however, has several drawbacks. First, it takes a lot of hard disk space to store different frequency domain representations. This is especially true during the model development and tuning process, w

neural network time-frequency conversion spectrogram on-the-fly generation optimization

发现论文，激发创造

音频 Transformer 的 Patchout 高效训练

本文提出一种优化和正则化变压器模型的新方法，使其在音频光谱图上实现了新的最优性能，同时提出了一种在性能和训练速度上均优于 CNN 的变压器模型。

Oct, 2021

通过 FFT 快速训练卷积神经网络

本文提出了一种使用 Fourier 变换和 GPU 架构，加速卷积网络的训练和推理的算法，并在现有技术的基础上取得了数量级上的改善。

Dec, 2013

利用多头卷积神经网络实现快速谱图反演

本研究提出了一种使用多头卷积神经网络（MCNN）架构从频谱生成波形的方法，而不需要迭代算法，能显著提高计算效率。对 MCNN 进行了大规模数据集的训练，并且损失函数的定义关注于声学感知质量。证明了 MCNN 是一种非常有前途的高质量语音合成方法。

Aug, 2018

使用卷积神经网络比较环境声音分类的时频表示

本研究比较了不同信号处理方法在卷积神经网络进行音频分类任务时所得到的频谱图表示，发现 Mel-scaled STFT 方法表现最佳。同时还发现，信号的特点以及转化窗口的大小都对分类结果有影响，2D 卷积神经网络在大多数情况下都比 1D 效果更好。

Jun, 2017

使用卷积神经网络进行处理的音频光谱图表示

本文综述了神经网络在音频生成中应用的数据表示方法，着重分析了使用频谱图进行音频风格迁移的问题和挑战。

Jun, 2017

使用 FBFFT 的快速卷积神经网络：GPU 性能评估

本文研究了卷积神经网络在当前 NVIDIA 图形处理器上的性能，介绍了两种新的快速傅立叶变换卷积实现，对于整个 CNN，fbfft 比 cuFFT 快 1.5 倍以上，并且对于许多普通的卷积层，速度也比 NVIDIA 的 cuDNN 实现快（达到了一些合成内核配置的 23.5 倍）。

Dec, 2014

复数值神经网络用于语音反欺骗

本文介绍了一种新的方法，通过使用复数值神经网络处理输入音频的 CQT 频域表示，结合了幅度谱图和原始音频处理方法的优点，既保留了相位信息又可使用可解释人工智能方法，结果表明该方法在 “野外” 反欺诈数据集上优于先前的方法，并通过可解释人工智能解释结果，剔除研究证明该模型已学会使用相位信息来检测声音伪造。

Aug, 2023

一种针对音频信号处理的内容自适应可学习时频表示

本文提出了可学习的自适应内容前端用于音频信号处理，通过卷积神经网络学习基础函数和权重优化特定任务，同时提出了一种计算内容自适应可学习时频表示的方法，实现了学习有限冲激响应滤波器组，并根据输入信号的内容通过最优滤波器组传递输出信号。

Mar, 2023

动态卷积神经网络作为高效的预训练音频模型

在大规模音频数据集中，通过 Transformer 取代 CNN 作为神经网络体系结构的最先进模型，本文通过 Transformer 与 CNN 的知识蒸馏，提出了一种高效的 CNN 模型，通过引入动态非线性、动态卷积和注意机制构建了动态 CNN 块，实验证明这种动态 CNN 模型在音频标签任务中的性能复杂度权衡和参数效率方面超越了传统的高效 CNN 模型，并且在下游任务中表现出更好的性能，达到了 Transformer 的性能甚至在 AudioSet 和多个下游任务上超越了 Transformer。

Oct, 2023

朝着端到端可解释的卷积神经网络发展音波信号

用卷积神经网络构建高效且可解释的端到端音频深度学习模型，通过在三个标准语音情感识别数据集上的实验验证，我们的框架在效率和可解释性方面表现优越，对抗 Mel 频谱特征有高达 7% 的改进；还揭示了前端层在处理复杂的长波形模式方面的高效性和可解释性，通过 PhysioNet 心音数据库的实例进行了论证，为处理原始波形数据构建了可移植的有效模型解决方案。

May, 2024