ChordSync:基于Conformer的和弦注释与音乐音频对齐
本文利用序列到序列传递学习的多任务自然语言处理模型,在多个不同的乐器转录数据集上对多种音乐乐器进行了联合转录,展示了其在低资源乐器的表现结果显著,同时保持了高质量的表现结果,是多任务自动音乐转录领域的强有力基线。
Nov, 2021
NoteEM是一种自动化的乐曲信息获取方法,能够实现从现实世界的音频记录中以高精度解码出对应的乐曲内容,其主要特点为采用了非对齐监督、伪标签和音高位移等技术。该方法在MAPS数据集上取得了最好的记录水平准确度,并在跨数据集评估中也表现出积极优势。
Apr, 2022
研究表明,通过采用基于数据驱动、环境感知式度量学习的方法以及神经网络框架代替传统的基于知识和随机模型的方法,可以更好地实现音乐演奏和乐谱的同步对齐,进而从事音乐教育、音乐演出分析、自动伴奏和音乐编辑等多个领域的研究与应用。
May, 2022
本文提供了音频理解模型预训练策略的广泛比较分析,探讨了预训练数据集(音乐或通用音频)和预训练方法(有监督或无监督)对下游任务的影响,特别是在音乐领域的多项任务中,超大规模有人工注释的音乐数据集上训练的有监督模型实现了最先进的性能,而域限制在音乐领域的无监督模型则在某些情况下能实现优异的有监督学习和无监督学习性能,表现出较高的效率和通用性。
Oct, 2022
本文提出 Jointist,一种仪器感知的多仪器框架,可以从音频剪辑中转录、识别和分离多个乐器。Jointist 的新颖性质对于评估这种模型提出了新的视角,然而,在我们的实验中,该模型在多个下游任务上实现了性能的提升,包括转录,分离,下行拍检测,和弦识别和关键识别。
Feb, 2023
设计了一种跨模态循环网络,通过学习联合嵌入,能够总结相应音频和乐谱的更长的段落,解决了强对齐数据和音频与乐谱节奏差异导致的局部和全局差异问题,并在实验中验证了该方法在所有可能的配置中进行更准确的检索。
Sep, 2023
通过人工和自回归模型共同创建音频音轨的和声标注,我们提出了一种新颖的替代方法, 在自动产生和声预测后,人工稀疏地注释低模型置信度的部分,然后模型根据人工指导调整其预测,我们在一组流行音乐数据集上评估了我们的模型并展示了这种人工参与的提升效果。
Oct, 2023
音乐信息检索领域的自动音乐转录(AMT)是一项核心挑战,旨在将音频信号转换为音乐符号表示,本文扼要回顾了AMT在音乐信号分析中的关键作用,强调了由于音乐和谐的复杂和相互叠加的频谱结构而对AMT的重要性,通过对AMT中现有的机器学习技术的彻底研究,我们探讨了当前模型和方法的进展和限制。尽管有可观的进展,AMT系统尚未达到人类专家的准确度,这在很大程度上是由于音乐和谐的复杂性和对细致解释的需求。本综述批判性评估了全自动和半自动的AMT系统,强调了最小用户干预的重要性,并研究了迄今为止提出的各种方法。通过解决先前技术的限制并提出改进的途径,我们的目标是引导未来的研究朝着能够准确且高效地将复杂的音频信号转化为精确的符号表示的全自动AMT系统。本研究不仅综合了最新的进展,而且为克服AMT中的现有挑战提供了一个路线图,为研究人员提供了有价值的洞察,旨在缩小当前系统和人类级转录准确性之间的差距。
Jun, 2024
本研究解决了不同版本音乐音符对齐中的大幅不匹配问题。通过利用数据增强技术,提出了一种基于Transformer编码器的定量方法TheGlueNote,学习音符间的相似度表示。该方法在音符对齐准确性上与现有技术不相上下,更加稳健地应对版本间的不匹配,并支持任意长度的MIDI文件配对处理。
Aug, 2024
本研究解决了自动音乐转录(AMT)所需的数据集生成问题,提出了一种简化从特定乐器获取数据集的高效方法。通过使用预定义的吉他练习和基于隐马尔可夫模型的强迫Viterbi比对,实现时间对齐的转录,确保了录音和转录标签的高准确性。该方法为构建不同乐器的AMT系统奠定了重要基础。
Aug, 2024