使用附加注意力机制的 Onsets and Frames 模型再审

Apr, 2021

使用附加注意力机制的 Onsets and Frames 模型再审

Revisiting the Onsets and Frames Model with Additive Attention

Kin Wai Cheuk, Yin-Jyun Luo, Emmanouil Benetos, Dorien Herremans

TL;DR通过修正加性注意机制，本文全面检验了 Onsets-and-Frames AMT 模型并找出了对 AMT 性能有贡献的关键组件，实验结果表明加性注意机制在适度的时间上下文后并不对模型有益处，规则 - based 后处理高度贡献 SOTA 表现，并且无论模型的复杂程度如何，onsets 始终是最重要的注意机制特征。这些发现鼓励 AMT 的研究更注重强大的开始检测器和有效的后处理。

Abstract

Recent advances in automatic music transcription (AMT) have achieved highly accurate polyphonic piano transcription results by incorporating onset and offset detection. The existing literature, however, focuses mainly on the leverage of deep and complex models to achieve state-of-the-a

automatic music transcription onset detection amt model additive attention mechanism post-processing

发现论文，激发创造

通过回归按键起始和终止时间进行高分辨率钢琴转录

本文提出了一种高分辨率的基于神经网络的自动音乐转录系统，可以精确定位钢琴音符的起始和终止时间，并且具有良好的鲁棒性，对于 MAESTRO 数据集的 onset F1 分数达到了 96.72％，对于 pedal onset F1 分数更是取得了 91.86％的好成绩。

Oct, 2020

Onsets and Frames: 双目标钢琴转录

用深度卷积和递归神经网络来提高多声部钢琴音乐转录，在预测音符的开始和结束时间方面取得了相对 100% 的提升，并且通过预测标准化音频的相对速度得到更自然的转录结果。

Oct, 2017

神经机器翻译的时间注意模型

本文介绍了一种基于注意力机制的神经机器翻译模型，该模型通过暂时性存储对齐信息和调节注意力值的方法，提高了翻译效果，在两种语言对上的大规模实验中，该方法不仅超越了基线 NMT 模型，还比其他相关方法表现更出色，甚至有些情况下在不使用集成的情况下也能胜过 SMT 基准。

Aug, 2016

基于注意力机制的语音识别模型

本研究提出了一种基于改进的注意力机制加上位置感知的模型，解决了长输入音频识别中的问题并且有效降低了音素错误率。

Jun, 2015

MT3: 多任务多轨音乐转录

本文利用序列到序列传递学习的多任务自然语言处理模型，在多个不同的乐器转录数据集上对多种音乐乐器进行了联合转录，展示了其在低资源乐器的表现结果显著，同时保持了高质量的表现结果，是多任务自动音乐转录领域的强有力基线。

Nov, 2021

野外音乐自动转录的非对齐监督

NoteEM 是一种自动化的乐曲信息获取方法，能够实现从现实世界的音频记录中以高精度解码出对应的乐曲内容，其主要特点为采用了非对齐监督、伪标签和音高位移等技术。该方法在 MAPS 数据集上取得了最好的记录水平准确度，并在跨数据集评估中也表现出积极优势。

Apr, 2022

MR-MT3：记忆保留的多轨音乐转录以减轻乐器泄露

这篇论文介绍了 MT3 模型的改进，该模型是一种最先进的基于令牌的多乐器自动音乐转录模型。提出了 MR-MT3 来减轻该模型存在的乐器泄漏问题，并通过在 Slakh2100 数据集上进行评估，证明了改进方法的效果。研究还探讨了 MT3 在单乐器单声道数据集上的域过拟合问题，并分享了研究结果与源代码以促进未来研究修正基于令牌的多乐器自动音乐转录模型。

Mar, 2024

序列到序列声学建模中的前瞻注意力机制在语音合成中的应用

本文提出了一种前向注意力机制的序列到序列的语音合成声学建模方法，该方法基于从电话序列到声学序列的单调对齐的自然属性，并使用前向算法递归地计算每个时间步长的修改后的注意力概率。实验结果表明，前向注意力方法具有更快的收敛速度和更高的稳定性。此外，过渡代理可以有效地提高合成语音的自然性，并控制合成语音的速度。

Jul, 2018

单调多头注意力

本文提出了一种名为 Monotonic Multihead Attention（MMA）的新型注意力机制，可应用于同时翻译的机器翻译任务，并介绍了两种特定于多头注意力的新颖且可解释的延迟控制方法，与最先进的 Milk 方法相比，MMA 具有更好的延迟 - 质量平衡，同时分析了延迟控制对关注范围的影响，通过分析解码器层数和头数对质量和延迟的影响来证明模型的引入。

Sep, 2019

自动音乐转录中乐器间知识的传递

本文探讨使用软件合成音频数据训练通用模型来加快乐器自动转录模型的转移学习，结果表明使用合成数据训练模型可能是预训练通用模型的良好基础。

Apr, 2023