本文系统研究了仅基于视频生成音乐的方法，并提出了一个大规模数据集和一个名为 VidMuse 的简单框架，该框架通过在局部和全局可视线索的引导下，使用长短期模型创建与视频内容一致的音频轨迹，实现了高保真度的音乐生成及其与视频的音视一致性对齐。通过广泛的实验证明，VidMuse 在音频质量、多样性和音视对齐方面优于现有模型。

Jun, 2024

该研究使用 MAESTRO 数据集中的音符事件作为中间表示，训练了一系列的神经网络模型，用于转录、合成和生成具备连贯乐曲结构的音频波形，从而实现了跨六个数量级（0.1ms 到 100s）的音频合成。

Oct, 2018

在本研究中，我们开发了一个名为 Video2Music 的生成音乐 AI 框架，能够根据提供的视频生成配套的音乐。我们的方法通过分析音乐视频获取语义、场景、运动和情感特征，并利用这些特征来指导音乐生成模型。我们还创建了一个称为 MuVi-Sync 的多模态数据集，用于训练新颖的 Affective Multimodal Transformer (AMT) 模型，以生成与视频相匹配的音乐。在实验证明，我们的提出的框架能够生成与视频内容情感相符的音乐，并通过用户研究证实了音乐质量和音乐与视频的匹配质量。我们的提出的 AMT 模型和新数据集 MuVi-Sync 为视频音乐生成任务迈出了有希望的一步。

Nov, 2023

我们提出了一个新的大规模情感标记的符号音乐数据集，该数据集包括 12k 首 MIDI 音乐。通过在 GoEmotions 数据集上训练情感分类模型，我们实现了半基线模型大小的先进结果。然后，我们将这些模型应用到两个大规模 MIDI 数据集的歌词上。我们的数据集涵盖了广泛的细粒度情感，为探究音乐与情感之间的联系以及基于特定情感生成音乐的模型的发展提供了宝贵的资源。我们的推断代码、训练模型和数据集在网上可获得。

Jul, 2023

本文介绍了一个新的大规模音乐数据集 MusicNet，旨在为音乐研究的机器学习方法提供监督和评估，该数据集由 10 位作曲家创作的 11 种乐器的数百个自由许可的古典音乐录音以及关于它们的时间标签组成，其中包含的多标签分类任务以及多项基于机器学习结构的性能评估表明了末端到末端的神经网络在音符预测方面的学习效果最佳。

Nov, 2016

这篇论文探讨了使用深度神经网络自动生成任意音乐的游戏阶段 - 即图表 - 的方法，并且通过多层前馈神经网络和规则确定玩家的控制方式，成功提高了预测音乐节奏和创作图表的准确度。

Jun, 2018

通过结合语言模型与音乐编码的 MidiCaps 数据集，该研究旨在推动生成模型在文本到 MIDI 的领域的发展，并促进音乐信息检索和自然语言处理交叉领域的进展。

Jun, 2024

本研究考虑了基于音频信号和歌词的多模态音乐情绪预测任务，复现传统特征工程方法的基础上提出了一种基于深度学习的新模型，证明了新方法相较于传统模型更擅长于唤起用户的注意，而在情感预测上两种方法表现相当。此外，我们还比较了不同的融合方法，在同时优化各单模态模型时取得了较大的提升，并向公众发布部分数据以供参考。

Sep, 2018

介绍了一个用于音频视觉分析音乐表演的数据集，其中包括 44 个简单的多乐器古典音乐作品的音频和视频录音、乐谱以及基于帧和音符的基础事实标注文件。该数据集可以用于 MIR 任务的开发和评估，以及为未来的比较提供基线系统。

Dec, 2016

提出一种基于自监督学习的音乐拼图游戏，旨在训练神经网络模型学习音乐中的序列模式，并利用基于时序片段的相似度得分，提出了改进的网络结构来实现元素的排序，该模型表现优于其他相似模型，且在多个游戏难度中均表现出色。

Sep, 2017