Mar, 2018

弱监督音频分类的多层注意力模型

PDF
TL;DR本文提出了一个多级关注模型来解决弱标签音频分类问题。 实验证明，与单级关注模型和 Google 基线相比，该模型在 Google 音频数据集上表现出更高的平均精度（mAP）。
multi-level attention modelweakly labelled audio classificationgoogle audio setneural network layersmean average precision
发现论文，激发创造
  • 使用注意力神经网络的弱标记 AudioSet 标记

    本研究提出了一种使用注意力神经网络解决音频分类的方法，该方法在 AudioSet 数据集上进行实验，并发现使用 embedding feature 的音频标记性能与每个声音类别的训练样本数量和标签质量的相关性较弱。

    Mar, 2019

  • 基于深度卷积循环模型的注意力和定位方法，用于弱监督音频标记

    此研究提供了一种深度卷积循环模型，结合注意力机制和时间定位模块，进行弱监督的音频标记，以及在 DCASE 2016 挑战中达到了良好的性能。

    Mar, 2017

  • 基于注意力模型的音频数据集分类：一个概率视角

    本文研究 Audio Set 数据集的分类问题，提出了一种基于注意力模型的方法，用于解决多实例学习问题，并且在该数据集上获得了 0.327 的平均精度 (mAP)，优于谷歌基线 (0.314) 和循环神经网络模型 (0.325)。

    Nov, 2017

  • 视频级标签时间定位的多注意力网络

    本文提出一种多注意力机制的模型来解决视频理解中的时间定位问题，模型结合了多个注意力网络、深度帧模型、循环神经网络和卷积神经网络，并基于多实例多标签学习和 attention 权重来加强对视频中重要帧的关注，从而在 YouTube-8M Video Understanding Challenge 中取得了较好的成绩。

    Nov, 2019

  • 利用弱标签数据进行大规模音频视觉学习

    本文提出了一种音频视觉融合模型，该模型利用注意机制动态地结合单独的音频和视觉模型的输出来识别声音，实验证明该模型在音频场景分析和机器感知上比单模和多模融合模型具有更好的效果。

    May, 2020

  • 基于门卷积神经网络的大规模弱监督音频分类

    本文介绍了一种门控卷积神经网络和一种基于时间注意力的定位方法，用于音频分类，并在 DCASE 2017 挑战赛的大规模弱监督声音事件检测任务中获得了第一名。

    Oct, 2017

  • 面向大规模分类和弱标注音频事件同步的音频视觉转换器架构

    本文报道了一种基于 transformer 神经网络的多模式音视频分类方法，具有较高的准确度，同时还证明了在某些情况下，视觉信息对这个任务是非常有用的。

    Dec, 2019

  • 自监督视听表示学习的协同关注网络

    本文提出了一种基于自我监督和共注意力机制的框架，通过区分具有关联性的视觉和声音信息，提出了三种不同的共注意力模块以训练神经网络，并通过测试了解了该方法的广泛和可转移性，成功地在先前的任务中取得了最先进的结果，解决了多声源场景的问题。

    Aug, 2020

  • MM-Pyramid: 多模塔形注意力网络用于音视频事件定位和视频解析

    提出了一种名为 MM-Pyramid 的多模式金字塔式注意力网络，该网络使用注意力特征金字塔模块和语义融合模块，以实现视频中事件的识别和定位。

    Nov, 2021

  • 多模态注意力融合用于提升语音识别和音频事件分类

    使用自我监督目标进行大型基础模型的训练，然后在下游任务中进行微调已成为一种标准程序。我们介绍了多模态注意力融合（MAM）方法，通过零 - shot 范式，实现了从高资源模态（文本和图像）的注意力矩阵到资源受限领域（语音和音频）的知识转移。MAM 可将自动语音识别（ASR）模型的相对字错误率（WER）降低多达 6.70％，将音频事件分类（AEC）模型的相对分类错误率降低 10.63％。在一些数据 / 计算资源可用的情况下，我们提出了可学习的 MAM 方法，用于合并注意力矩阵，进一步将 ASR 的 WER 降低 2.90％，AEC 降低 18.42％，相对于微调方法。

    Dec, 2023