本文介绍了 MOSA（Music mOtion with Semantic Annotation）数据集，它包含由 23 位专业音乐家演奏的 742 个专业音乐表演的高质量三维运动捕捉数据，与音频录音及音高、节拍、乐句、动态、演奏和和谐等音符级的语义注释，是迄今为止最大的音乐领域的交互式数据集。数据集的用途在于交叉模态音乐信息检索（MIR）和音乐内容生成任务，包括从音频、视频和运动数据中检测节拍、下拍、乐句和表现内容，并根据给定的音乐音频生成音乐家的身体动作。数据集和代码可在本文所附网址中获取。

Jun, 2024

通过深度学习方法，通过跨模态音乐检索技术，连接大量乐谱图片和相应音频录音，解决音频和乐谱图片相互关联的问题，同时提出了一些挑战和方法来解决这些挑战，以实现跨模态音乐检索的统一和稳定的方法。

Sep, 2023

通过提供高质量的人工注释，本文提出了一个全新的多模态、多类型和多用途的音频 - 视频学术讲座数据集，旨在支持多种音视频识别和理解任务，从而展示了 M^3AV 数据集的多样性和挑战性。

Mar, 2024

本文介绍了一个新的大规模音乐数据集 MusicNet，旨在为音乐研究的机器学习方法提供监督和评估，该数据集由 10 位作曲家创作的 11 种乐器的数百个自由许可的古典音乐录音以及关于它们的时间标签组成，其中包含的多标签分类任务以及多项基于机器学习结构的性能评估表明了末端到末端的神经网络在音符预测方面的学习效果最佳。

Nov, 2016

该研究使用 MAESTRO 数据集中的音符事件作为中间表示，训练了一系列的神经网络模型，用于转录、合成和生成具备连贯乐曲结构的音频波形，从而实现了跨六个数量级（0.1ms 到 100s）的音频合成。

Oct, 2018

该论文介绍了一个通过从社交媒体网站获取包含多个成对图像 / 视频和文本的帖子以及包含图像 / 视频和 / 或文本的评论树来实现多模态学习的新的可公开获取的数据集，并提供了基线性能分析，适用于图像字幕、情感分析和预训练模型等多项任务。

Jun, 2020

本文介绍了 EMOPIA 数据集 —— 一个音频和 MIDI 综合的多模态数据库，着重于流行钢琴音乐中的情感。数据集包含 1087 个音乐片段，涵盖了 387 首歌曲，具有 4 个专业标注员标注的片段级情感标签。在该数据集上，我们提出了音乐情感分类和基于情感的音乐生成模型，并通过模型训练和评估证明了 EMOPIA 在未来的研究中具有很高的潜力。

Aug, 2021

使用多模态深度学习技术匹配自由形式的文本与音乐在音乐信息检索领域显示出有希望的结果。本研究提出了一个包含音乐丰富语义描述的新开放数据集 WikiMuTe，数据源于维基百科的音乐作品文章目录。使用专门的文本挖掘流程提取覆盖音乐内容各种主题的长短句描述，例如流派、风格、情感、乐器和节奏。展示了利用该数据集训练了一个联合学习文本和音频表示的模型，并进行跨模态检索。该模型在两个任务上进行评估：基于标签的音乐检索和音乐自动标注。结果表明，尽管我们的方法在多个任务上具有最先进的性能，但仍然观察到性能差异取决于用于训练的数据。

Dec, 2023

该研究使用神经网络跨模态嵌入空间解决音频和乐谱图像之间的匹配问题，并在五个不同作曲家的古典钢琴音乐上进行实验，展示出多模态神经网络处理乐谱和音频的成果。

Jul, 2017

通过利用少量人工注释，我们提出了一种两步方法来分析多模态数据集，为了在处理数据集时将每个多模态实例映射到所需的模态。我们在 TVQA 视频问答数据集上应用了我们的方法，并发现大多数问题可以用单一模态回答，而且没有对任何特定模态存在实质性偏见。此外，我们发现超过 70％的问题可以用几种不同的单模态策略来解决，例如通过观看视频或听音频，突出了 TVQA 中多模态整合的有限性。我们利用我们的注释并分析 MERLOT Reserve，发现它在处理基于图像的问题、文本和音频以及听觉说话人识别方面存在困难。根据我们的观察，我们引入了一个需要多个模态的新的测试集，观察到模型性能显著下降。我们的方法为多模态数据集提供了有价值的见解，并强调了开发更健壮模型的需求。

Jul, 2023