May, 2024

MVBIND: 基于嵌入空间绑定的自监督音乐视频推荐

PDF
TL;DR该研究介绍了 MVBind，一种用于跨模态检索的创新音乐视频嵌入绑定模型。通过 MVBind，能够在没有手动注释的情况下，从数据中直接获取模态间关系的内在知识。此外，为了弥补短视频缺乏相应音乐 - 视觉对数据集的不足，该研究构建了 SVM-10K（具有精选的短视频和音乐的 10K 数据集），在该数据集上，MVBind 相比其他基准模型表现出显著提高。为方便未来研究，已经发布了构建的数据集和代码。
发现论文，激发创造
  • 跨模态音乐视频推荐：设计选择研究

    本研究在音乐 / 视频跨模态推荐方面采用自监督学习范式，并利用预训练的 MuSimNet，OpenL3，MusicCNN 或 AudioSet 等音频嵌入来大幅改善推荐效果。其中，通过跨模态三元组损失进行学习比通常自监督学习采用的二元交叉熵损失具有更好的效果，验证了 VM-NET 的有效性。

    Apr, 2021

  • 利用软内部模态结构约束的基于内容的视频音乐检索

    本文介绍了一种新的基于内容的跨模态检索方法，通过深度神经网络实现视频和音乐之间的交叉检索，并使用软内部模态结构损失来保留模态特征，同时提出了标准化的实验协议并构建了一个大规模的视频 - 音乐匹配基准。

    Apr, 2017

  • 视频和音频检索的跨模态嵌入

    本文介绍了一种利用 YouTube-8M 数据库中视听文件间共同区域来建立联系以自主训练深度神经网络的方法，实现了跨模态特征学习的无监督方法，并得出了良好的检索结果。

    Jan, 2018

  • 视频检索的模态平衡嵌入

    介绍了将 MBVR 应用于大型视频平台的实践，该方法采用人工生成的模态混洗样本和基于视觉相关性的动态边距（DM），旨在鼓励视频编码器对每种模态进行平衡关注，通过实验证明了该方法在解决模态偏见问题方面的有效性和高效性。

    Apr, 2022

  • 采用时间段的时序对齐进行视频 - 音乐推荐

    研究视频配乐中的跨模式推荐问题，使用自我监督系统学习音乐和视频间的内容关联，提出了结构感知推荐方法，在训练与推断过程中，使用语义片段和不同的排序指标和分割方法来显著提高系统性能。

    Jun, 2023

  • ImageBind: 一个绑定所有嵌入空间的嵌入空间

    ImageBind 是一种学习跨六种不同类型数据（图像、文本、音频、深度、热成像和 IMU 数据）联合嵌入的方法，只需使用图像数据对它们进行绑定。它能够实现跨模态检索、跨模态检测和生成等新颖的应用，而且表现出强大的零样本和有限样本识别能力，能够评估视觉模型的性能。

    May, 2023

  • 完美匹配：音频 - 视觉同步的改进型跨模态嵌入

    该论文提出了一种新的跨模态嵌入学习策略，通过多路匹配问题学习嵌入，显著提升了音频到视频同步任务的表现，并用学习到的嵌入进行自我监督的视觉语音识别。

    Sep, 2018

  • 通过受监督的深度 CCA 实现跨模式音乐视频检索的音频 - 视觉嵌入

    使用 S-DCCA 算法构建跨模态音乐视频检索模型，其中采用基于 Attention 机制 LSTM 模型选择 top k 音频块，使得得到的局部音频摘要能够很好地代表整个音频内容，构建的深度学习模型实现了音频和视频语义的跨模态学习，从而实现了跨模态情感相似的音乐视频检索，并在构造的 10K 数据集上得到了良好的 MAP 和 precision-recall 表现。

    Aug, 2019

  • 自监督对比学习用于稳健的音乐 - 乐谱检索系统

    我们通过自监督对比学习的方法，研究了如何减轻多模态音乐检索模型中标注数据稀缺的限制，并提出了经过预训练的模型能够更好地检索音乐片段，并在交叉模态的作品识别任务中获得更好的检索质量的观察结果。

    Sep, 2023

  • VidMuse: 一个简单的长短期建模视频音乐生成框架

    本文系统研究了仅基于视频生成音乐的方法，并提出了一个大规模数据集和一个名为 VidMuse 的简单框架，该框架通过在局部和全局可视线索的引导下，使用长短期模型创建与视频内容一致的音频轨迹，实现了高保真度的音乐生成及其与视频的音视一致性对齐。通过广泛的实验证明，VidMuse 在音频质量、多样性和音视对齐方面优于现有模型。

    Jun, 2024