Sep, 2022

MATT：一种多示例注意机制用于长尾音乐种类分类

PDF
TL;DR本文提出了一种名为 MATT 的多示例注意力机制，用于解决长尾数据情况下的音乐流派分类问题，实验结果表明该方法在大规模音乐流派基准数据集上显著优于其他最先进的基线方法。
music genre classificationlong-tail distributionmulti-instance learningmulti-instance attentionneural network
发现论文，激发创造
  • 基于注意力机制的深度多示例学习

    本文提出了一种基于神经网络的置换不变聚合运算符，并展示了其在多个 MIL 数据集上的实验表现，特别是在两个真实组织病理学数据集上的表现，同时保持了可解释性。

    Feb, 2018

  • 用于音乐乐器识别的注意力机制

    本篇论文讨论了针对乐器识别难题的注意力机制，并针对数据弱标签的问题，使得在 OpenMIC 数据集上的多标签乐器识别精度得到提升。

    Jul, 2019

  • 基于注意力模型的音频数据集分类：一个概率视角

    本文研究 Audio Set 数据集的分类问题，提出了一种基于注意力模型的方法，用于解决多实例学习问题，并且在该数据集上获得了 0.327 的平均精度 (mAP)，优于谷歌基线 (0.314) 和循环神经网络模型 (0.325)。

    Nov, 2017

  • 弱监督音频分类的多层注意力模型

    本文提出了一个多级关注模型来解决弱标签音频分类问题。 实验证明，与单级关注模型和 Google 基线相比，该模型在 Google 音频数据集上表现出更高的平均精度（mAP）。

    Mar, 2018

  • 多轨音乐变换器

    提出了一种新型的多轨音乐表示方式，可以同时包含多种不同类型的乐器，并实现了基于音乐自注意力的实时即兴演奏，该方法在速度和内存占用方面都具有优势。

    Jul, 2022

  • MDMLP: 使用 MLP 在小数据集上从零开始进行图像分类

    本文研究了注意力机制对于自然语言处理和图像识别任务的应用。通过提出一种轻量级的基于 MLP 的多维 MLP 结构，并采用新型的 MLP 注意力工具，我们实现了在小数据集上的从头训练的 SOTA 结果，同时具备出色的解释能力。

    May, 2022

  • 使用注意力神经网络的弱标记 AudioSet 标记

    本研究提出了一种使用注意力神经网络解决音频分类的方法，该方法在 AudioSet 数据集上进行实验，并发现使用 embedding feature 的音频标记性能与每个声音类别的训练样本数量和标签质量的相关性较弱。

    Mar, 2019

  • 使用自我关注实现可解释的音乐标记

    提出了一种基于自注意力机制的深度序列模型，用于解决音乐信息检索问题，并且相比于传统的卷积和递归神经网络方法，该模型更具可解释性且具有竞争力的结果。

    Jun, 2019

  • 零样本音乐标签的联合音乐和语言注意力模型

    我们提出了一个零样本音频标记系统，使用 JMLA 模型来解决开放式音乐标记问题，并通过引入稠密注意连接来提高编码器和解码器之间的信息流动。我们收集了一个大规模的音乐和描述数据集，并使用 ChatGPT 将原始描述转化为形式化和多样化的描述以训练 JMLA 模型。我们的提出的 JMLA 系统在 GTZAN 数据集上实现了 64.82% 的零样本音频标记准确率，优于以前的零样本系统，并在 FMA 和 MagnaTagATune 数据集上实现了与以前系统相当的结果。

    Oct, 2023

  • 单调多头注意力

    本文提出了一种名为 Monotonic Multihead Attention（MMA）的新型注意力机制，可应用于同时翻译的机器翻译任务，并介绍了两种特定于多头注意力的新颖且可解释的延迟控制方法，与最先进的 Milk 方法相比，MMA 具有更好的延迟 - 质量平衡，同时分析了延迟控制对关注范围的影响，通过分析解码器层数和头数对质量和延迟的影响来证明模型的引入。

    Sep, 2019