环境声音分类的深度学习方法第二次比较之正确的音频标记

Mar, 2022

环境声音分类的深度学习方法第二次比较之正确的音频标记

AudioTagging Done Right: 2nd comparison of deep learning methods for environmental sound classification

Juncheng B Li, Shuhui Qu, Po-Yao Huang, Florian Metze

TL;DR本研究旨在通过对最大弱标注声音事件数据集 AudioSet 上的最新两类神经架构文章和加权后的 CNN 文章以及关键优化参数进行深入实验，为研究者和实践者提供性能，效率和优化过程之间的平衡见解。

Abstract

After its sweeping success in vision and language tasks, pure attention-based neural architectures (e.g. DeiT) are emerging to the top of audio tagging (AT) leaderboards, which seemingly obsoletes traditional con

neural architectures audio tagging convolutional neural networks attention-based variants optimization procedures

发现论文，激发创造

使用注意力神经网络的弱标记 AudioSet 标记

本研究提出了一种使用注意力神经网络解决音频分类的方法，该方法在 AudioSet 数据集上进行实验，并发现使用 embedding feature 的音频标记性能与每个声音类别的训练样本数量和标签质量的相关性较弱。

Mar, 2019

大规模音频分类的 CNN 结构

本文介绍了使用几种不同的卷积神经网络对音频进行分类，发现在大型数据集上运用图像分类中的卷积神经网络架构对于音频分类也十分有效，使用嵌入分类器的模型对音频事件检测的任务表现优于对原始特征的直接使用。

Sep, 2016

基于 CNN 的自动音乐标记模型评估

本文在三个数据集上对不同音乐标注模型进行一致的评估，并使用 ROC-AUC 和 PR-AUC 等常见评估指标提供参考结果，同时评估了模型的泛化能力。使用 PyTorch 提供预训练模型的实现，以保证可复制性。

Jun, 2020

调谐：临床环境中有限数据的音频分类器性能分析

通过深度学习模型在临床环境中评估音频分类，针对反映真实世界前瞻性数据收集的小数据集，我们分析了包括 DenseNet 和 ConvNeXt 在内的 CNN 模型，以及像 ViT、SWIN 和 AST 这样的 Transformer 模型，并将它们与预训练的音频模型（如 YAMNet 和 VGGish）进行比较。我们的方法强调了在特定临床数据上微调之前，在大数据集上进行预训练的好处。我们从中风患者中先前未有的两个患者音频数据集进行前瞻性收集。我们研究了各种预处理技术，发现 RGB 和灰度频谱图变换会基于它们从预训练中学到的先验知识以不同方式影响模型性能。我们的发现表明，在小数据集背景下，CNN 模型可以达到或超过 Transformer 模型的性能，其中 DenseNet-Contrastive 和 AST 模型显示出显著的性能。本研究突出了模型选择、预训练和预处理在音频分类中逐渐边际增益的重要性，为依赖音频分类的临床诊断提供了有价值的见解。

Feb, 2024

基于深度卷积循环模型的注意力和定位方法，用于弱监督音频标记

此研究提供了一种深度卷积循环模型，结合注意力机制和时间定位模块，进行弱监督的音频标记，以及在 DCASE 2016 挑战中达到了良好的性能。

Mar, 2017

深度卷积神经网络与数据增强在环境音分类中的应用

本文提出了一种使用深度卷积神经网络和音频数据增强相结合的方法来进行环境声音分类，通过对增强技术的探索发现在不同类别下所使用的增强技术会对分类准确率产生影响。实验结果表明，该方法在环境声音分类上表现出了最先进的效果。

Aug, 2016

AST：音频频谱变换器

本文介绍了第一种不依赖卷积操作而采用纯自注意力机制的声音分类模型 ——Audio Spectrogram Transformer（AST），在多个音频分类数据集上取得了新的最优结果。

Apr, 2021

ATGNN：音频标签图神经网络

本文介绍了一种名为 ATGNN 的新颖图神经网络架构，通过将谱图视作图结构来处理，实现了 CNN 的能力与图神经网络的全局信息共享能力的结合，并映射了可学习的类别嵌入和相应谱图区域之间的语义关系，通过在两个音频标记任务中的表现，发现 ATGNN 在 FSD50K 数据集上达到 0.585 的 mAP，在 AudioSet-balanced 数据集上达到 0.335 的 mAP，与基于 Transformer 的模型相比具有相当的结果，但参数数量显著较少。

Nov, 2023

使用原始波形的音乐自动标记样本级 CNN 架构

本文介绍了一种基于改进了的 1 维卷积神经网络架构的音乐自动标记方法，该方法采用最先进的图像分类模型 ResNets 和 SENets 构建块，并添加多级特征聚合。结果表明，此方法在 MagnaTagATune 数据集上取得了显著改进，并在 Million Song 数据集上取得了可比结果。

Oct, 2017

弱监督音频分类的多层注意力模型

本文提出了一个多级关注模型来解决弱标签音频分类问题。实验证明，与单级关注模型和 Google 基线相比，该模型在 Google 音频数据集上表现出更高的平均精度（mAP）。

Mar, 2018