Sep, 2023

朝向稳健且真正大规模音频 - 乐谱检索

PDF
TL;DR通过深度学习方法，通过跨模态音乐检索技术，连接大量乐谱图片和相应音频录音，解决音频和乐谱图片相互关联的问题，同时提出了一些挑战和方法来解决这些挑战，以实现跨模态音乐检索的统一和稳定的方法。
multi-modal music information retrievalcross-modal deep learning architecturesaudio-sheet music retrievalchallengesmethodology
发现论文，激发创造
  • 自监督对比学习用于稳健的音乐 - 乐谱检索系统

    我们通过自监督对比学习的方法，研究了如何减轻多模态音乐检索模型中标注数据稀缺的限制，并提出了经过预训练的模型能够更好地检索音乐片段，并在交叉模态的作品识别任务中获得更好的检索质量的观察结果。

    Sep, 2023

  • 用循环模型进行音频 - 乐谱检索的片段摘要

    设计了一种跨模态循环网络，通过学习联合嵌入，能够总结相应音频和乐谱的更长的段落，解决了强对齐数据和音频与乐谱节奏差异导致的局部和全局差异问题，并在实验中验证了该方法在所有可能的配置中进行更准确的检索。

    Sep, 2023

  • 针对乐谱识别和离线对齐的音频 - 乐谱对应关系学习

    该研究使用神经网络跨模态嵌入空间解决音频和乐谱图像之间的匹配问题，并在五个不同作曲家的古典钢琴音乐上进行实验，展示出多模态神经网络处理乐谱和音频的成果。

    Jul, 2017

  • 朝向端到端的音频 - 乐谱检索

    本文旨在研究跨媒体检索中的乐曲检索，基于 Deep Canonical Correlation Analysis 学习相关空间，能够检索图片和音频之间的乐曲片段，初步实验结果有所进展。

    Dec, 2016

  • 针对乐谱图像的分数跟随技术

    本文介绍了一种通过神经网络匹配短音频片段与乐谱中对应像素位置的方法。实验结果表明，使用深度学习技术处理音乐乐谱具有可行性且是一个有前途的研究方向。

    Dec, 2016

  • 视频和音频检索的跨模态嵌入

    本文介绍了一种利用 YouTube-8M 数据库中视听文件间共同区域来建立联系以自主训练深度神经网络的方法，实现了跨模态特征学习的无监督方法，并得出了良好的检索结果。

    Jan, 2018

  • 利用软内部模态结构约束的基于内容的视频音乐检索

    本文介绍了一种新的基于内容的跨模态检索方法，通过深度神经网络实现视频和音乐之间的交叉检索，并使用软内部模态结构损失来保留模态特征，同时提出了标准化的实验协议并构建了一个大规模的视频 - 音乐匹配基准。

    Apr, 2017

  • 完美匹配：音频 - 视觉同步的改进型跨模态嵌入

    该论文提出了一种新的跨模态嵌入学习策略，通过多路匹配问题学习嵌入，显著提升了音频到视频同步任务的表现，并用学习到的嵌入进行自我监督的视觉语音识别。

    Sep, 2018

  • 通过受监督的深度 CCA 实现跨模式音乐视频检索的音频 - 视觉嵌入

    使用 S-DCCA 算法构建跨模态音乐视频检索模型，其中采用基于 Attention 机制 LSTM 模型选择 top k 音频块，使得得到的局部音频摘要能够很好地代表整个音频内容，构建的深度学习模型实现了音频和视频语义的跨模态学习，从而实现了跨模态情感相似的音乐视频检索，并在构造的 10K 数据集上得到了良好的 MAP 和 precision-recall 表现。

    Aug, 2019

  • 跨模态音乐视频推荐：设计选择研究

    本研究在音乐 / 视频跨模态推荐方面采用自监督学习范式，并利用预训练的 MuSimNet，OpenL3，MusicCNN 或 AudioSet 等音频嵌入来大幅改善推荐效果。其中，通过跨模态三元组损失进行学习比通常自监督学习采用的二元交叉熵损失具有更好的效果，验证了 VM-NET 的有效性。

    Apr, 2021