Sep, 2023

自监督对比学习用于稳健的音乐 - 乐谱检索系统

PDF
TL;DR我们通过自监督对比学习的方法，研究了如何减轻多模态音乐检索模型中标注数据稀缺的限制，并提出了经过预训练的模型能够更好地检索音乐片段，并在交叉模态的作品识别任务中获得更好的检索质量的观察结果。
发现论文，激发创造
  • 朝向稳健且真正大规模音频 - 乐谱检索

    通过深度学习方法，通过跨模态音乐检索技术，连接大量乐谱图片和相应音频录音，解决音频和乐谱图片相互关联的问题，同时提出了一些挑战和方法来解决这些挑战，以实现跨模态音乐检索的统一和稳定的方法。

    Sep, 2023

  • 用循环模型进行音频 - 乐谱检索的片段摘要

    设计了一种跨模态循环网络，通过学习联合嵌入，能够总结相应音频和乐谱的更长的段落，解决了强对齐数据和音频与乐谱节奏差异导致的局部和全局差异问题，并在实验中验证了该方法在所有可能的配置中进行更准确的检索。

    Sep, 2023

  • 音乐音频表示的适当对比自监督学习策略

    本文研究了不同对比自监督学习方案学习的音乐音频表示，并在不同的音乐信息检索任务中经验性地评估嵌入向量，以分析结果并讨论对不同 MIR 任务的适当对比学习策略方向，表明这些表示传达了关于音乐的听觉特征的综合信息，尽管每个自我监督策略在某些方面的信息方面有效。

    Jul, 2022

  • 针对乐谱识别和离线对齐的音频 - 乐谱对应关系学习

    该研究使用神经网络跨模态嵌入空间解决音频和乐谱图像之间的匹配问题，并在五个不同作曲家的古典钢琴音乐上进行实验，展示出多模态神经网络处理乐谱和音频的成果。

    Jul, 2017

  • 跨模态音乐视频推荐：设计选择研究

    本研究在音乐 / 视频跨模态推荐方面采用自监督学习范式，并利用预训练的 MuSimNet，OpenL3，MusicCNN 或 AudioSet 等音频嵌入来大幅改善推荐效果。其中，通过跨模态三元组损失进行学习比通常自监督学习采用的二元交叉熵损失具有更好的效果，验证了 VM-NET 的有效性。

    Apr, 2021

  • 朝向端到端的音频 - 乐谱检索

    本文旨在研究跨媒体检索中的乐曲检索，基于 Deep Canonical Correlation Analysis 学习相关空间，能够检索图片和音频之间的乐曲片段，初步实验结果有所进展。

    Dec, 2016

  • 视频和音频检索的跨模态嵌入

    本文介绍了一种利用 YouTube-8M 数据库中视听文件间共同区域来建立联系以自主训练深度神经网络的方法，实现了跨模态特征学习的无监督方法，并得出了良好的检索结果。

    Jan, 2018

  • 多视图自监督方法在音乐标记中的实验比较

    在音乐领域应用自监督学习，通过研究和比较新的自监督方法，证明对比学习相对于其他自监督预训练方法在有限数据下游任务中始终能够取得更好的性能。

    Apr, 2024

  • 针对乐谱图像的分数跟随技术

    本文介绍了一种通过神经网络匹配短音频片段与乐谱中对应像素位置的方法。实验结果表明，使用深度学习技术处理音乐乐谱具有可行性且是一个有前途的研究方向。

    Dec, 2016

  • 音频视频领域的对比学习探索

    通过对音频和视频模态的对比学习，研究表明预训练网络在音乐视频的标签和流派分类任务上优于对比学习方法，通过定性分析了解对比学习在音乐视频中的困难并提出未来工作的可能方向。

    Sep, 2023