Mar, 2023

一种针对音频信号处理的内容自适应可学习时频表示

PDF
TL;DR本文提出了可学习的自适应内容前端用于音频信号处理，通过卷积神经网络学习基础函数和权重优化特定任务，同时提出了一种计算内容自适应可学习时频表示的方法，实现了学习有限冲激响应滤波器组，并根据输入信号的内容通过最优滤波器组传递输出信号。
learnable front-endconvolutional architecturestransformer-based architecturestime-frequency representationfinite impulse-response filterbanks
发现论文，激发创造
  • 使用卷积神经网络比较环境声音分类的时频表示

    本研究比较了不同信号处理方法在卷积神经网络进行音频分类任务时所得到的频谱图表示，发现 Mel-scaled STFT 方法表现最佳。同时还发现，信号的特点以及转化窗口的大小都对分类结果有影响，2D 卷积神经网络在大多数情况下都比 1D 效果更好。

    Jun, 2017

  • 自动语音识别中替代 CNN 前端的多视角频率 - 注意力算法

    采用 F-Attention 模块替代卷积神经网络前端，在语音识别系统中全局关注频率可以显著减少相对字错率。

    Jun, 2023

  • 直接从波形中学习多尺度特征

    本文详细介绍了一种使用卷积滤波器的方法，可以通过减少步幅增加时间分辨率，通过增加滤波器增加频率分辨率以提高语音识别精度。我们同时在多个尺度上学习，从而发现更高效的表示方法，并且相对于基于光谱图的同样参数网络训练，内部语音测试集上的词语错误率下降了 20.7％。

    Mar, 2016

  • 神经网络架构学习傅里叶变换、信号处理和更多

    通过在 AI 和神经架构的最新进展中采用傅里叶变换，本研究报告将探索和回答有关此过程的基本问题。进一步地，我们展示了如何通过学习从头开始的神经架构，为音频信号处理应用程序学习这些内核，并发现神经架构不仅可以学习正弦内核形状，还可以发现各种令人难以置信的信号处理特性，例如窗函数、起始检测器、高通滤波器、低通滤波器、调制等。

    Aug, 2023

  • 用时间变化的特征调制建模黑盒音频效果

    该研究提出了一种将时间变化的特征线性调制整合进现有的时间卷积背骨架中的方法，以更准确地捕获长时间尺度上的音频效应，从而增强深度学习方法对音频效应的建模能力。

    Nov, 2022

  • LEAF: 可学习的音频分类前端

    利用可学习前端代替 mel-filterbank，可普适于语音、音乐、声音事件和动物声音信号的分类，同时在多种分类任务和 Audioset 中表现出比 mel-filterbank 更好的性能，且参数更少。

    Jan, 2021

  • 朝着端到端可解释的卷积神经网络发展音波信号

    用卷积神经网络构建高效且可解释的端到端音频深度学习模型，通过在三个标准语音情感识别数据集上的实验验证，我们的框架在效率和可解释性方面表现优越，对抗 Mel 频谱特征有高达 7% 的改进；还揭示了前端层在处理复杂的长波形模式方面的高效性和可解释性，通过 PhysioNet 心音数据库的实例进行了论证，为处理原始波形数据构建了可移植的有效模型解决方案。

    May, 2024

  • FAMLP: 一种面向领域泛化的频率感知 MLP-Like 架构

    提出了一种新颖的基于自适应傅里叶滤波器层和低秩增强模块的多层感知器结构，以提高 MLP 模型的领域适应性，实现了比其他方法更好的泛化性能。

    Mar, 2022

  • 使用卷积神经网络进行处理的音频光谱图表示

    本文综述了神经网络在音频生成中应用的数据表示方法，着重分析了使用频谱图进行音频风格迁移的问题和挑战。

    Jun, 2017

  • 频率感知变换器用于学习图像压缩

    学习图像压缩 (LIC) 已成为近年来在图像存储和传输方面的有效解决方案，然而，现有的 LIC 方法存在潜在的表示冗余问题，限制了其对各向异性频率成分和方向细节的捕捉。为了克服这些挑战，我们提出了一种新颖的频率感知变换器 (FAT) 模块，首次实现了对 LIC 的多尺度方向分析。FAT 模块由频率分解窗口注意力 (FDWA) 模块组成，用于捕捉自然图像的多尺度和方向频率成分。此外，我们引入了频率调制前馈网络 (FMFFN)，以自适应调制不同频率成分，从而改善了速率失真性能。此外，我们还提出了基于变换器的通道级自回归 (T-CA) 模型，有效地利用了通道依赖性。实验证明，与现有的 LIC 方法相比，我们的方法在速率失真性能上达到了最先进的水平，并在 Kodak、Tecnick 和 CLIC 数据集上相对于最新的标准编解码器 VTM-12.1 提高了 14.5%、15.1% 和 13.0% 的 BD - 率。

    Oct, 2023