本文提出了一个多尺度音频谱图变换器（MAST），用于音频分类和自监督学习，在 LAPE 基准测试上，相较于 Audio Spectrogram Transformer（AST）和 SSAST，MAST 和 SS‐MAST 具有更高的性能，并已将所有代码公开在 GitHub 上。

Nov, 2022

本文提出了一种使用未标注数据进行自监督预训练的方法，使用联合判别式和生成式掩蔽频谱补丁建模对 AST 模型进行预训练，从而显著提高音频分类性能。这是音频领域中第一个基于补丁的自监督学习框架，也是 AST 的自监督学习框架的首次探索。

Oct, 2021

通过连接粗到细的想法，将变压器模型应用于低分辨率数据进行优化训练，然后在课程学习策略下，使用高分辨率数据进行微调，实验结果表明，这种 AST 的训练机制导致性能提升，收敛速度更快，需要的计算资源和时间更少。

Jan, 2024

FastAST 是将 Token Merging (ToMe) 和 Cross-Model Knowledge Distillation (CMKD) 集成到 Audio Spectrogram Transformer (AST) 框架中，提高音频分类的速度，同时保持较高的准确性。它是实现实时、资源高效的音频分析的一步。

Jun, 2024

本文提出了一种针对自我监督语音及音频分类中 Self-Supervised Audio Spectrogram Transformer (SSAST) 模型的简单、且功能强大的改进方法。具体而言，我们将来自原模型中使用的高掩模比率（75%）的问题进行改进，并将 Masked Autoencoders are Scalable Vision Learners（MAE）的编码器 - 解码器结构集成到 SSAST 中。我们发现 MAE 预训练可以相较于当前的音频预训练策略，在常规模型和输入尺寸下提供 3 倍的加速和 2 倍的内存使用率降低。在下游任务的微调中，我们发现我们的方法比 SSAST 在各种下游任务中表现更优。我们进一步对预训练的不同策略进行了全面的评估，并探讨了视觉和音频领域之间 MAE 风格预训练的不同之处。

Mar, 2022

本文介绍了第一种不依赖卷积操作而采用纯自注意力机制的声音分类模型 ——Audio Spectrogram Transformer（AST），在多个音频分类数据集上取得了新的最优结果。

Apr, 2021

本文提出了 MAST，一种新的多模态抽象文本摘要模型，它利用来自文本、音频和视频三种模态的信息。MAST 通过让模型更多地关注文本模态来解决从音频模态中提取信息的有用性和挑战，并在 How2 数据集上在多模态语言理解方面以 2.51 分的内容 F1 分数和 1.00 分的 Rouge-L 分数优于目前的基于视频和文本的最佳模型。

Oct, 2020

本文介绍了一种采用分层结构和分词 - 语义模块的音频 Transformer 模型 HTS-AT，实现了音频分类和事件本地化的任务，并在三个数据集上取得了 SOTA 结果。相比于以往的音频 Transformer，HTS-AT 拥有更小的模型参数和更短的训练时间。

Feb, 2022

本文报道了一种基于 transformer 神经网络的多模式音视频分类方法，具有较高的准确度，同时还证明了在某些情况下，视觉信息对这个任务是非常有用的。

Dec, 2019

提出了一种 Multi-View Spectrogram Transformer (MVST) 模型，将深度神经网络应用于呼吸音频谱图的分类，通过将 mel-spectrogram 分为不同大小的 patches，使用 transformer encoders 提取 patches 之间的注意力信息，并设计了一种门控融合机制来加强多视图特征，在呼吸音分类任务上明显优于现有最先进方法。

Nov, 2023