Mar, 2023

使用多尺度网络和自注意机制的帧级多标签演奏技巧检测

PDF
TL;DR本文提出了一种基于多尺度网络和自我关注机制的方法，将吉他演奏技巧检测问题定义为基于帧的多标签分类问题，应用于吉他演奏，有效地提取不同尺度的特征，并优于现有方法。
instrument playing techniquemulti-label classificationguzhengmulti-scale networkself-attention
发现论文，激发创造
  • MERTech：利用自监督预训练模型和多任务微调进行乐器演奏技术检测

    使用自监督学习模型对大规模未标记音乐数据进行预训练并在乐器演奏技术检测任务中进行微调，以解决数据稀缺和类别不平衡问题，通过辅助任务的多任务微调和事件级别预测的后处理方法，该方法在多个乐器演奏技术基准数据集上在帧级别和事件级别指标上均优于先前方法。

    Oct, 2023

  • 利用古箏演奏中的音符觸發信息進行演奏技巧檢測

    本文提出了一个利用全卷积神经网络的端到端古筝演奏技巧检测系统，通过训练独立的起始检测器和帧级演奏技巧检测器以实现对可变长度音频的检测，这可以应用于各种音乐厂牌。同时，作者还从多个音乐厂牌和实际演出中创建了一个新的数据集 GZ_IsoTech，实现了 87.97％的帧级准确性和 80.76％的音符级 F1 分数，并且远远超过现有工作的表现，证明了该方法在演奏技巧检测中的有效性。

    Sep, 2022

  • 用于音乐乐器识别的注意力机制

    本篇论文讨论了针对乐器识别难题的注意力机制，并针对数据弱标签的问题，使得在 OpenMIC 数据集上的多标签乐器识别精度得到提升。

    Jul, 2019

  • 基于音色和音高的帧级乐器识别

    本文利用 MusicNet 数据集，建立并评估了一个卷积神经网络，实现基于帧级别标注的乐器识别，并尝试不同方法将音高信息融入模型，实现对于多乐器帧级别噪声的校准、乐器之间谐波比较分析等，实验结果表明相对于基线方法具有显著的性能提升。

    Jun, 2018

  • 视频级标签时间定位的多注意力网络

    本文提出一种多注意力机制的模型来解决视频理解中的时间定位问题，模型结合了多个注意力网络、深度帧模型、循环神经网络和卷积神经网络，并基于多实例多标签学习和 attention 权重来加强对视频中重要帧的关注，从而在 YouTube-8M Video Understanding Challenge 中取得了较好的成绩。

    Nov, 2019

  • 弱监督音频分类的多层注意力模型

    本文提出了一个多级关注模型来解决弱标签音频分类问题。 实验证明，与单级关注模型和 Google 基线相比，该模型在 Google 音频数据集上表现出更高的平均精度（mAP）。

    Mar, 2018

  • MATT：一种多示例注意机制用于长尾音乐种类分类

    本文提出了一种名为 MATT 的多示例注意力机制，用于解决长尾数据情况下的音乐流派分类问题，实验结果表明该方法在大规模音乐流派基准数据集上显著优于其他最先进的基线方法。

    Sep, 2022

  • 使用附加注意力机制的 Onsets and Frames 模型再审

    通过修正加性注意机制，本文全面检验了 Onsets-and-Frames AMT 模型并找出了对 AMT 性能有贡献的关键组件，实验结果表明加性注意机制在适度的时间上下文后并不对模型有益处，规则 - based 后处理高度贡献 SOTA 表现，并且无论模型的复杂程度如何，onsets 始终是最重要的注意机制特征。这些发现鼓励 AMT 的研究更注重强大的开始检测器和有效的后处理。

    Apr, 2021

  • 实现全自监督多音高估计

    多音高估计中的多音高估计，监督式学习技术，自监督式学习目标，多声乐曲数据集，卷积自编码器

    Feb, 2024

  • 多轨音乐变换器

    提出了一种新型的多轨音乐表示方式，可以同时包含多种不同类型的乐器，并实现了基于音乐自注意力的实时即兴演奏，该方法在速度和内存占用方面都具有优势。

    Jul, 2022