在本研究中，我们开发了一个名为 Video2Music 的生成音乐 AI 框架，能够根据提供的视频生成配套的音乐。我们的方法通过分析音乐视频获取语义、场景、运动和情感特征，并利用这些特征来指导音乐生成模型。我们还创建了一个称为 MuVi-Sync 的多模态数据集，用于训练新颖的 Affective Multimodal Transformer (AMT) 模型，以生成与视频相匹配的音乐。在实验证明，我们的提出的框架能够生成与视频内容情感相符的音乐，并通过用户研究证实了音乐质量和音乐与视频的匹配质量。我们的提出的 AMT 模型和新数据集 MuVi-Sync 为视频音乐生成任务迈出了有希望的一步。

Nov, 2023

利用多模态特征空间中的文本和音频嵌入指导生成模型的生成图像，进一步实现音乐视频创作，我们提出的方法需要对视频进行自动分段，同时保持时间上的一致性，与以前的方法不同，我们的方法融合了文本和音频两个模态，展示了良好的应用效果

Jan, 2022

MuseChat 是一个创新的对话式音乐推荐系统，通过模拟用户与推荐系统之间的互动，利用预训练的音乐标签和艺术家信息，将音乐推荐过程融合到自然语言框架中，以人类交流方式提供音乐推荐和推荐原因，以图像和文本搭配的多模态推荐引擎，使音乐匹配音视频中的视觉线索或协调视觉信息、之前推荐音乐的反馈和用户的文本输入，MuseChat 在音乐检索任务中超过现有的最先进模型，是推荐过程与自然语言框架相结合的先驱。

Oct, 2023

本研究在音乐 / 视频跨模态推荐方面采用自监督学习范式，并利用预训练的 MuSimNet，OpenL3，MusicCNN 或 AudioSet 等音频嵌入来大幅改善推荐效果。其中，通过跨模态三元组损失进行学习比通常自监督学习采用的二元交叉熵损失具有更好的效果，验证了 VM-NET 的有效性。

Apr, 2021

本文介绍了 Foley Music 系统，该系统能够为视频生成逼真的音乐。该系统将视频转换为基于运动的 MIDI 事件，然后利用 Graph-Transformer 框架精确地预测 MIDI 事件序列并转换为逼真的音乐，同时还具有完全可解释和透明的 MIDI 表示形式，可以实现灵活的音乐编辑。实验结果表明，该系统在生成宜人的音乐方面优于现有的几个系统。

Jul, 2020

通过引入一个名为 NES-VMDB 的新数据集，我们的研究填补了从游戏数据中直接学习音乐的标准大型数据集的研究空白，该数据集包含 389 个 NES 游戏的 98,940 个游戏视频，每个视频都与其原始的符号格式 (MIDI) 原声音轨配对。

Apr, 2024

使用多模态深度学习技术匹配自由形式的文本与音乐在音乐信息检索领域显示出有希望的结果。本研究提出了一个包含音乐丰富语义描述的新开放数据集 WikiMuTe，数据源于维基百科的音乐作品文章目录。使用专门的文本挖掘流程提取覆盖音乐内容各种主题的长短句描述，例如流派、风格、情感、乐器和节奏。展示了利用该数据集训练了一个联合学习文本和音频表示的模型，并进行跨模态检索。该模型在两个任务上进行评估：基于标签的音乐检索和音乐自动标注。结果表明，尽管我们的方法在多个任务上具有最先进的性能，但仍然观察到性能差异取决于用于训练的数据。

Dec, 2023

该研究提出了一种音乐推荐的方法，允许用户使用自由形式的自然语言来引导音乐选择，解决了没有音乐文本描述的挑战，并使用文本合成方法训练了新的三模态模型，该模型的检索音频可通过与视频呈现的视觉风格和语言查询中描述的音乐风格、心情或器乐匹配，以匹配两个输入模态的准确性。

Jun, 2023

该论文介绍了一个称为 LORIS 的新框架，用于在长期条件下生成可靠的波形，以生成与节奏视觉提示同步的音乐配乐，并扩展其模型的适用性，从舞蹈到多种体育场景，如地面练习和花样滑冰。

May, 2023

该研究介绍了 MVBind，一种用于跨模态检索的创新音乐视频嵌入绑定模型。通过 MVBind，能够在没有手动注释的情况下，从数据中直接获取模态间关系的内在知识。此外，为了弥补短视频缺乏相应音乐 - 视觉对数据集的不足，该研究构建了 SVM-10K（具有精选的短视频和音乐的 10K 数据集），在该数据集上，MVBind 相比其他基准模型表现出显著提高。为方便未来研究，已经发布了构建的数据集和代码。

May, 2024