MMDec, 2023

WikiMuTe：音频音乐的语义描述的网络数据集

PDF
TL;DR使用多模态深度学习技术匹配自由形式的文本与音乐在音乐信息检索领域显示出有希望的结果。本研究提出了一个包含音乐丰富语义描述的新开放数据集 WikiMuTe，数据源于维基百科的音乐作品文章目录。使用专门的文本挖掘流程提取覆盖音乐内容各种主题的长短句描述，例如流派、风格、情感、乐器和节奏。展示了利用该数据集训练了一个联合学习文本和音频表示的模型，并进行跨模态检索。该模型在两个任务上进行评估：基于标签的音乐检索和音乐自动标注。结果表明，尽管我们的方法在多个任务上具有最先进的性能，但仍然观察到性能差异取决于用于训练的数据。
multi-modal deep learningmusic information retrievalwikimute datasettext-mining pipelinecross-modal retrieval
发现论文，激发创造
  • WikiWeb2M：一份基于页面级别的多模态 Wikipedia 数据集

    通过保留完整的图像、文本和结构数据，Wikipedia Webpage 2M（WikiWeb2M）套件旨在研究多模式网页理解，如页面描述生成、部分摘要和上下文图像说明。

    May, 2023

  • WikiMT++ 数据集卡片

    WikiMT++ 是 WikiMusicText (WikiMT) 的扩展和改进版本，包括 1010 个精选的 ABC 符号音乐简谱。为了增加 WikiMT 的应用场景，我们添加了客观属性（专辑、歌词、视频）和主观情感（12 个情感形容词）以及 emo_4q (Russell 4Q) 属性，增强了它在音乐信息检索、条件音乐生成、自动作曲和情感分类等方面的可用性。此外，我们实施了 CLaMP 来纠正从 WikiMT 继承而来的属性，以减少原始数据收集中引入的错误，并提高数据集的准确性和完整性。

    Sep, 2023

  • WIT: 基于维基百科的图像文本数据集，用于多模态多语言机器学习

    本文介绍了 Wikipedia-based Image Text（WIT）数据集，该数据集是由不同语言构成的 37.6 百万个实体丰富的图像文本示例组成，可用于多模态模型的预训练，如应用于图像文本检索等下游任务。WIT 数据集有四个主要的优势，规模大、多语种、覆盖的概念和实体比以前的数据集更加多样化，并提供一个非常具有挑战性的真实世界的测试集。

    Mar, 2021

  • 音乐元本体论：音乐元数据的互操作性的灵活语义模型

    音乐元本体论介绍了一种丰富而灵活的语义模型，用于描述与艺术家、作曲、演奏、录音和链接相关的音乐元数据，并通过数据工程的最佳实践来考虑各个利益相关者的需求和角度，从而支持数据对齐、转化和检索。

    Nov, 2023

  • VidMuse: 一个简单的长短期建模视频音乐生成框架

    本文系统研究了仅基于视频生成音乐的方法，并提出了一个大规模数据集和一个名为 VidMuse 的简单框架，该框架通过在局部和全局可视线索的引导下，使用长短期模型创建与视频内容一致的音频轨迹，实现了高保真度的音乐生成及其与视频的音视一致性对齐。通过广泛的实验证明，VidMuse 在音频质量、多样性和音视对齐方面优于现有模型。

    Jun, 2024

  • 跨模态音乐处理的带语义注释的 Mosa 数据集

    本文介绍了 MOSA（Music mOtion with Semantic Annotation）数据集，它包含由 23 位专业音乐家演奏的 742 个专业音乐表演的高质量三维运动捕捉数据，与音频录音及音高、节拍、乐句、动态、演奏和和谐等音符级的语义注释，是迄今为止最大的音乐领域的交互式数据集。数据集的用途在于交叉模态音乐信息检索（MIR）和音乐内容生成任务，包括从音频、视频和运动数据中检测节拍、下拍、乐句和表现内容，并根据给定的音乐音频生成音乐家的身体动作。数据集和代码可在本文所附网址中获取。

    Jun, 2024

  • FMA：一个用于音乐分析的数据集

    本文介绍了 FMA 数据集，提供了大量创意共用的音频数据，可以用于音乐信息检索的同若干项目的研究和评估，数据集还包括几个元数据信息等各种数据类型，为该领域的发展做出了很好的贡献。

    Dec, 2016

  • 为多模音乐分析创建一种多轨古典音乐演奏数据集：挑战、见解和应用

    介绍了一个用于音频视觉分析音乐表演的数据集，其中包括 44 个简单的多乐器古典音乐作品的音频和视频录音、乐谱以及基于帧和音符的基础事实标注文件。该数据集可以用于 MIR 任务的开发和评估，以及为未来的比较提供基线系统。

    Dec, 2016

  • 音乐理解 LLaMA：通过问题回答和字幕提升文本至音乐生成

    文中提出的 MU-LLaMA 模型通过 MusicQA 数据集的训练，在音乐问答和音乐配音生成方面取得了出色的表现，超越了当前领先的模型，并为 T2M-Gen 研究领域带来了有希望的进展。

    Aug, 2023

  • MUGEN: 视频 - 音频 - 文本多模态理解和生成的游乐场

    本文介绍了通过引入音频和新的交互方式收集大量视频和相关音频的大型视频 - 音频 - 文本数据集 MUGEN，并展示了其在多模态理解和生成任务中的潜在应用。

    Apr, 2022