Mar, 2024

MR-MT3：记忆保留的多轨音乐转录以减轻乐器泄露

PDF
TL;DR这篇论文介绍了 MT3 模型的改进，该模型是一种最先进的基于令牌的多乐器自动音乐转录模型。提出了 MR-MT3 来减轻该模型存在的乐器泄漏问题，并通过在 Slakh2100 数据集上进行评估，证明了改进方法的效果。研究还探讨了 MT3 在单乐器单声道数据集上的域过拟合问题，并分享了研究结果与源代码以促进未来研究修正基于令牌的多乐器自动音乐转录模型。
发现论文，激发创造
  • MT3: 多任务多轨音乐转录

    本文利用序列到序列传递学习的多任务自然语言处理模型，在多个不同的乐器转录数据集上对多种音乐乐器进行了联合转录，展示了其在低资源乐器的表现结果显著，同时保持了高质量的表现结果，是多任务自动音乐转录领域的强有力基线。

    Nov, 2021

  • 多轨音乐变换器

    提出了一种新型的多轨音乐表示方式，可以同时包含多种不同类型的乐器，并实现了基于音乐自注意力的实时即兴演奏，该方法在速度和内存占用方面都具有优势。

    Jul, 2022

  • 自动音乐转录中乐器间知识的传递

    本文探讨使用软件合成音频数据训练通用模型来加快乐器自动转录模型的转移学习，结果表明使用合成数据训练模型可能是预训练通用模型的良好基础。

    Apr, 2023

  • 野外音乐自动转录的非对齐监督

    NoteEM 是一种自动化的乐曲信息获取方法，能够实现从现实世界的音频记录中以高精度解码出对应的乐曲内容，其主要特点为采用了非对齐监督、伪标签和音高位移等技术。该方法在 MAPS 数据集上取得了最好的记录水平准确度，并在跨数据集评估中也表现出积极优势。

    Apr, 2022

  • M3T: 多模文档级机器翻译的新基准数据集

    本文介绍了 M3T，这是一个新颖的基准数据集，旨在评估 NMT 系统在翻译半结构化文档的全面任务上的表现，并解决了现实世界应用中丰富文本布局所带来的挑战。

    Jun, 2024

  • M3ST: 三级混合语音翻译

    本文提出了一种基于数据扩充的语音翻译方法 M^3ST，通过在词级、句子级和帧级混合训练数据和使用外部机器翻译数据进行模型预训练和微调，再通过并行输入原始语音序列和原始文本序列进行模型微调，使用 Jensen-Shannon 散度对输出进行正则化，成功在 MuST-C 语音翻译基准上取得了优异的表现，平均 BLEU 得分达到 29.9，超越了当前强基线和取得了最新的最好成果。

    Dec, 2022

  • 无注释自动音乐转录：基于可扩展合成数据和对抗领域混淆技术

    提出了一种无需注释数据的音乐自动转录模型，通过利用可扩展的合成音频进行预训练和对抗性域混淆，实现了比使用混合注释真实音频数据学习时更高的准确性，在 AMT 研究领域中，揭示了这种方法的可扩展性和面临的挑战。

    Dec, 2023

  • 机器学习技术在自动音乐转录中的应用：系统调研

    音乐信息检索领域的自动音乐转录（AMT）是一项核心挑战，旨在将音频信号转换为音乐符号表示，本文扼要回顾了 AMT 在音乐信号分析中的关键作用，强调了由于音乐和谐的复杂和相互叠加的频谱结构而对 AMT 的重要性，通过对 AMT 中现有的机器学习技术的彻底研究，我们探讨了当前模型和方法的进展和限制。尽管有可观的进展，AMT 系统尚未达到人类专家的准确度，这在很大程度上是由于音乐和谐的复杂性和对细致解释的需求。本综述批判性评估了全自动和半自动的 AMT 系统，强调了最小用户干预的重要性，并研究了迄今为止提出的各种方法。通过解决先前技术的限制并提出改进的途径，我们的目标是引导未来的研究朝着能够准确且高效地将复杂的音频信号转化为精确的符号表示的全自动 AMT 系统。本研究不仅综合了最新的进展，而且为克服 AMT 中的现有挑战提供了一个路线图，为研究人员提供了有价值的洞察，旨在缩小当前系统和人类级转录准确性之间的差距。

    Jun, 2024

  • 高分辨率吉他转录通过领域适应

    使用高分辨率钢琴转录模型训练新的吉他转录模型，从而在零样本情况下在 GuitarSet 上获得最先进的转录结果，改进了之前发表的方法。

    Feb, 2024

  • 基于数据驱动的鲁棒自动钢琴转录分析

    通过研究训练数据的角度，本文通过在 MAESTRO 数据集的原始和重新执行版本上使用各种数据增强技术，获得了 MAPS 数据集的最新音符起始准确性，而无需查看其他的训练数据。

    Feb, 2024