本研究在音乐 / 视频跨模态推荐方面采用自监督学习范式，并利用预训练的 MuSimNet，OpenL3，MusicCNN 或 AudioSet 等音频嵌入来大幅改善推荐效果。其中，通过跨模态三元组损失进行学习比通常自监督学习采用的二元交叉熵损失具有更好的效果，验证了 VM-NET 的有效性。

Apr, 2021

本文介绍了一种利用 YouTube-8M 数据库中视听文件间共同区域来建立联系以自主训练深度神经网络的方法，实现了跨模态特征学习的无监督方法，并得出了良好的检索结果。

Jan, 2018

使用 S-DCCA 算法构建跨模态音乐视频检索模型，其中采用基于 Attention 机制 LSTM 模型选择 top k 音频块，使得得到的局部音频摘要能够很好地代表整个音频内容，构建的深度学习模型实现了音频和视频语义的跨模态学习，从而实现了跨模态情感相似的音乐视频检索，并在构造的 10K 数据集上得到了良好的 MAP 和 precision-recall 表现。

Aug, 2019

通过深度学习方法，通过跨模态音乐检索技术，连接大量乐谱图片和相应音频录音，解决音频和乐谱图片相互关联的问题，同时提出了一些挑战和方法来解决这些挑战，以实现跨模态音乐检索的统一和稳定的方法。

Sep, 2023

该论文提出了一种新的跨模态嵌入学习策略，通过多路匹配问题学习嵌入，显著提升了音频到视频同步任务的表现，并用学习到的嵌入进行自我监督的视觉语音识别。

Sep, 2018

我们通过自监督对比学习的方法，研究了如何减轻多模态音乐检索模型中标注数据稀缺的限制，并提出了经过预训练的模型能够更好地检索音乐片段，并在交叉模态的作品识别任务中获得更好的检索质量的观察结果。

Sep, 2023

研究视频配乐中的跨模式推荐问题，使用自我监督系统学习音乐和视频间的内容关联，提出了结构感知推荐方法，在训练与推断过程中，使用语义片段和不同的排序指标和分割方法来显著提高系统性能。

Jun, 2023

本篇研究提出了一种方法，使用特定的 loss 函数，在保持图像和文本子空间内的语义连贯性的同时鼓励它们之间的语义协同，并改进了基线模型，以实现跨模态检索。

Jul, 2020

本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

Jul, 2020

该研究介绍了 MVBind，一种用于跨模态检索的创新音乐视频嵌入绑定模型。通过 MVBind，能够在没有手动注释的情况下，从数据中直接获取模态间关系的内在知识。此外，为了弥补短视频缺乏相应音乐 - 视觉对数据集的不足，该研究构建了 SVM-10K（具有精选的短视频和音乐的 10K 数据集），在该数据集上，MVBind 相比其他基准模型表现出显著提高。为方便未来研究，已经发布了构建的数据集和代码。

May, 2024