Jan, 2024

由粗到细：音频谱图变压器的高效训练

PDF
TL;DR通过连接粗到细的想法，将变压器模型应用于低分辨率数据进行优化训练，然后在课程学习策略下，使用高分辨率数据进行微调，实验结果表明，这种 AST 的训练机制导致性能提升，收敛速度更快，需要的计算资源和时间更少。
transformersaudio classificationasttraining mechanismcurriculum learning strategy
发现论文，激发创造
  • 多尺度音频光谱变换器用于有效的音频分类

    这篇研究提出了一种名为多尺度音频谱变换器（MAST）的方法，它采用分层表示学习来提高音频分类的效率，相较于 AST，MAST 在没有外部训练数据的情况下，在 Kinetics-Sounds，Epic-Kitchens-100 和 VGGSound 数据集上的准确度提高了 22.2％、4.4％和 4.7％，同时比 AST 更加高效。

    Mar, 2023

  • 音频 Transformer 的 Patchout 高效训练

    本文提出一种优化和正则化变压器模型的新方法，使其在音频光谱图上实现了新的最优性能，同时提出了一种在性能和训练速度上均优于 CNN 的变压器模型。

    Oct, 2021

  • MAST：多尺度音频频谱变换器

    本文提出了一个多尺度音频谱图变换器（MAST），用于音频分类和自监督学习，在 LAPE 基准测试上，相较于 Audio Spectrogram Transformer（AST）和 SSAST，MAST 和 SS‐MAST 具有更高的性能，并已将所有代码公开在 GitHub 上。

    Nov, 2022

  • AST：音频频谱变换器

    本文介绍了第一种不依赖卷积操作而采用纯自注意力机制的声音分类模型 ——Audio Spectrogram Transformer（AST），在多个音频分类数据集上取得了新的最优结果。

    Apr, 2021

  • SSAST: 自监督音频频谱变换器

    本文提出了一种使用未标注数据进行自监督预训练的方法，使用联合判别式和生成式掩蔽频谱补丁建模对 AST 模型进行预训练，从而显著提高音频分类性能。这是音频领域中第一个基于补丁的自监督学习框架，也是 AST 的自监督学习框架的首次探索。

    Oct, 2021

  • FlexiAST：AST 所需的灵活性

    这篇论文的目标是给予音频谱图变换器（AST）补丁尺寸的灵活性，通过提出一种训练过程来为标准 AST 模型提供灵活性，使其在推理阶段可以使用各种补丁尺寸，实验证明 FlexiAST 在不同数据集的音频分类任务中，在不同补丁尺寸下保持了与标准 AST 模型类似的性能。

    Jul, 2023

  • FastAST：音频谱图变换器的加速：通过令牌合并和跨模型知识蒸馏

    FastAST 是将 Token Merging (ToMe) 和 Cross-Model Knowledge Distillation (CMKD) 集成到 Audio Spectrogram Transformer (AST) 框架中，提高音频分类的速度，同时保持较高的准确性。它是实现实时、资源高效的音频分析的一步。

    Jun, 2024

  • 音频频谱变换器中基于频率归一化的录音设备通用性改进

    本文针对机器学习中训练和应用时间所见数据差异这一主要问题，研究了声场分类中不匹配的录音设备情况。我们发现，通过频率方面的规范化进行输入和卷积神经网络中隐藏层激活的处理，可以减少记录设备之间的差异。本文的主要目标是将这种方法应用于成为声场分类主流模型的音频谱图转换器上，并且针对该模型考察了不同的录音设备特征如何被编码到隐藏层激活中。基于这个观察，我们推断出对输入谱图进行抑制可达到最有效的去除记录设备特征的效果。我们提出了一种频率居中的谱图操作，平均提高了未经训练的录音设备上的 ASC 性能达 18.2 个百分点。

    Jun, 2023

  • 动态卷积神经网络作为高效的预训练音频模型

    在大规模音频数据集中，通过 Transformer 取代 CNN 作为神经网络体系结构的最先进模型，本文通过 Transformer 与 CNN 的知识蒸馏，提出了一种高效的 CNN 模型，通过引入动态非线性、动态卷积和注意机制构建了动态 CNN 块，实验证明这种动态 CNN 模型在音频标签任务中的性能复杂度权衡和参数效率方面超越了传统的高效 CNN 模型，并且在下游任务中表现出更好的性能，达到了 Transformer 的性能甚至在 AudioSet 和多个下游任务上超越了 Transformer。

    Oct, 2023

  • 粗到细的稀疏变换器用于高光谱图像重建

    该论文提出了一种基于 Transformer 的 CST 方法，首次将 HSI 稀疏性嵌入到深度学习中进行重建，使用 SA-MSA 进行粗细层次的像素聚类和自相似性捕捉，相比于现有方法具有更高的重建性能和更低的计算成本。

    Mar, 2022