Oct, 2022

音频分类的谱图时间分辨率学习

PDF
TL;DR本篇论文提出了一种新的方法，DiffRes，它通过不同 iable temporal resolution 学习来改善音频分类模型的性能。该方法可以在减少计算成本的同时实现与固定分辨率 mel-spectrogram 相同或更好的分类准确性。
audio classificationspectrogramtemporal resolutiondiffresmel-spectrogram
发现论文，激发创造
  • 由粗到细：音频谱图变压器的高效训练

    通过连接粗到细的想法，将变压器模型应用于低分辨率数据进行优化训练，然后在课程学习策略下，使用高分辨率数据进行微调，实验结果表明，这种 AST 的训练机制导致性能提升，收敛速度更快，需要的计算资源和时间更少。

    Jan, 2024

  • 直接从波形中学习多尺度特征

    本文详细介绍了一种使用卷积滤波器的方法，可以通过减少步幅增加时间分辨率，通过增加滤波器增加频率分辨率以提高语音识别精度。我们同时在多个尺度上学习，从而发现更高效的表示方法，并且相对于基于光谱图的同样参数网络训练，内部语音测试集上的词语错误率下降了 20.7％。

    Mar, 2016

  • 一种针对音频信号处理的内容自适应可学习时频表示

    本文提出了可学习的自适应内容前端用于音频信号处理，通过卷积神经网络学习基础函数和权重优化特定任务，同时提出了一种计算内容自适应可学习时频表示的方法，实现了学习有限冲激响应滤波器组，并根据输入信号的内容通过最优滤波器组传递输出信号。

    Mar, 2023

  • 使用多分辨率声谱时序表示的声学到口腔运动的语音反演

    本研究评估了利用多分辨率频谱时间特征作为声学特征对语音信号进行表达，从而从听觉皮层表征语音信号的好处，以推测相应信号的发音学特征。研究使用了威斯康辛大学 X 光微束（XRMB）数据库的语音信号来训练前馈深度神经网络（DNN）以估计 6 个道路变量的发音轨迹。实验结果表明，该方法与利用 Mel 频率倒谱系数的先前实验相比，能达到更高的相关性（0.675）。

    Mar, 2022

  • 使用卷积神经网络比较环境声音分类的时频表示

    本研究比较了不同信号处理方法在卷积神经网络进行音频分类任务时所得到的频谱图表示，发现 Mel-scaled STFT 方法表现最佳。同时还发现，信号的特点以及转化窗口的大小都对分类结果有影响，2D 卷积神经网络在大多数情况下都比 1D 效果更好。

    Jun, 2017

  • MelNet: 频域音频生成模型

    利用二维时频表示，概率模型和多尺度生成，设计了一个能够捕捉高时间尺度结构的模型，可以在各种音频生成任务中达到比以往更好的效果。

    Jun, 2019

  • 使用卷积神经网络进行处理的音频光谱图表示

    本文综述了神经网络在音频生成中应用的数据表示方法，着重分析了使用频谱图进行音频风格迁移的问题和挑战。

    Jun, 2017

  • 多尺度音频光谱变换器用于有效的音频分类

    这篇研究提出了一种名为多尺度音频谱变换器（MAST）的方法，它采用分层表示学习来提高音频分类的效率，相较于 AST，MAST 在没有外部训练数据的情况下，在 Kinetics-Sounds，Epic-Kitchens-100 和 VGGSound 数据集上的准确度提高了 22.2％、4.4％和 4.7％，同时比 AST 更加高效。

    Mar, 2023

  • 音频分类中最佳时间支持的选择与预训练嵌入

    通过研究音频输入时长对现有预训练嵌入模型的影响，本研究发现音频光谱图变换系统在较短的时间支持下仍然有效，从而大大减少了内存和计算成本，同时通过选择最佳时间支持，实现了在所有任务上具有竞争力的结果。

    Dec, 2023

  • 多视角声谱图变换器用于呼吸音分类

    提出了一种 Multi-View Spectrogram Transformer (MVST) 模型，将深度神经网络应用于呼吸音频谱图的分类，通过将 mel-spectrogram 分为不同大小的 patches，使用 transformer encoders 提取 patches 之间的注意力信息，并设计了一种门控融合机制来加强多视图特征，在呼吸音分类任务上明显优于现有最先进方法。

    Nov, 2023