Jun, 2024

跨模态音乐处理的带语义注释的 Mosa 数据集

PDF
TL;DR本文介绍了 MOSA（Music mOtion with Semantic Annotation）数据集，它包含由 23 位专业音乐家演奏的 742 个专业音乐表演的高质量三维运动捕捉数据，与音频录音及音高、节拍、乐句、动态、演奏和和谐等音符级的语义注释，是迄今为止最大的音乐领域的交互式数据集。数据集的用途在于交叉模态音乐信息检索（MIR）和音乐内容生成任务，包括从音频、视频和运动数据中检测节拍、下拍、乐句和表现内容，并根据给定的音乐音频生成音乐家的身体动作。数据集和代码可在本文所附网址中获取。
cross-modal music processingmosa datasetmusic information retrievalmusical content generationnote-level annotations
发现论文，激发创造
  • 为多模音乐分析创建一种多轨古典音乐演奏数据集：挑战、见解和应用

    介绍了一个用于音频视觉分析音乐表演的数据集，其中包括 44 个简单的多乐器古典音乐作品的音频和视频录音、乐谱以及基于帧和音符的基础事实标注文件。该数据集可以用于 MIR 任务的开发和评估，以及为未来的比较提供基线系统。

    Dec, 2016

  • MUSAN: 音乐、语音和噪声语料库

    该报告介绍了用于训练声音活动检测（VAD）和音乐 / 语音区分模型的新语料库，该语料库包括来自几种音乐类型的音乐，十二种语言的语音以及各种技术和非技术噪声，我们展示了该语料库在广播新闻上用于音乐 / 语音鉴别和 VAD 用于说话人识别的用途。

    Oct, 2015

  • BEAT：面向对话手势合成的大规模语义和情感多模态数据集

    使用多模态数据构建最大的动作捕捉数据集 BEAT，探究人体动作相关性以及语义相关性建立基于 CaMN 的愉悦对话姿态综合模型，并且提出了语义相关性手势回溯指标 SRGR。

    Mar, 2022

  • KIT 运动语言数据集

    本研究提出了 KIT 运动 - 语言数据集，该数据集包括来自多个动作捕捉数据库的数据，并使用统一的表示法聚合，以获得自然语言的动作注释，通过困惑度选择和众包方法进行注释。该数据集包含 3911 个运动，6278 个自然语言注释，使人类运动和自然语言之间的语义表示研究变得更加透明和可比较。

    Jul, 2016

  • WikiMuTe：音频音乐的语义描述的网络数据集

    使用多模态深度学习技术匹配自由形式的文本与音乐在音乐信息检索领域显示出有希望的结果。本研究提出了一个包含音乐丰富语义描述的新开放数据集 WikiMuTe，数据源于维基百科的音乐作品文章目录。使用专门的文本挖掘流程提取覆盖音乐内容各种主题的长短句描述，例如流派、风格、情感、乐器和节奏。展示了利用该数据集训练了一个联合学习文本和音频表示的模型，并进行跨模态检索。该模型在两个任务上进行评估：基于标签的音乐检索和音乐自动标注。结果表明，尽管我们的方法在多个任务上具有最先进的性能，但仍然观察到性能差异取决于用于训练的数据。

    Dec, 2023

  • MACSA: 一个多模态的方面 - 类别情感分析数据集，包含多模态细粒度对齐注释

    本研究提出了 Multimodal Aspect-Category Sentiment Analysis (MACSA) 数据集，其中包含了超过 21K 个文本 - 图像对，提供了针对文本和视觉内容的细粒度注释，并首次使用 aspect category 作为枢轴，对齐两种模态之间的细粒度元素。本研究建立了 Multimodal ACSA 任务和一个基于多模态图形对齐的融合模型 (MGAM)，采用精细的跨模态融合方法。实验结果表明，本方法可以便于这个语料库未来研究的基线比较。本文中的数据集和代码将公开提供。

    Jun, 2022

  • 跨媒体 - 3600：一款大规模多语言多模态评估数据集

    本文提出了 Crossmodal-3600 数据集，其中包含 3600 张图片，涵盖了 36 种语言中所使用的地区，并使用人工参考标题对其进行了注释。该数据集被应用于大规模多语言图片字幕模型的选择，并在使用 XM3600 作为自动度量的黄金参考时，展示出与人工评估更高的相关性结果。

    May, 2022

  • M$^3$AV: 多模式、多文体和多用途的音视频学术讲座数据集

    通过提供高质量的人工注释，本文提出了一个全新的多模态、多类型和多用途的音频 - 视频学术讲座数据集，旨在支持多种音视频识别和理解任务，从而展示了 M^3AV 数据集的多样性和挑战性。

    Mar, 2024

  • MUSES：驾驶不确定性条件下的多传感器语义感知数据集

    在自动驾驶汽车中实现第五级驾驶自动化需要一个强大的语义视觉感知系统，它能够解析来自不同传感器的数据，并适应多种条件。为了解决现有语义感知数据集中通常缺乏自动驾驶汽车中常用的重要非相机模式，或者未能利用这些模式来帮助和改善具有挑战性条件下的语义注释的问题，我们引入了 MUSES，即用于在恶劣条件下以增加的不确定性驾驶的多传感器语义感知数据集。MUSES 包括在多样化的天气和照明条件下捕获的 2500 张图像的同步多模态记录，并具有 2D 全景注释。该数据集整合了帧相机、激光雷达、雷达、事件相机和 IMU/GNSS 传感器。我们的新型两阶段全景注释协议捕捉了真实值中的类别级别和实例级别的不确定性，引入了我们的新任务 —— 不确定性感知全景分割，并同时提供标准的语义分割和全景分割。MUSES 在多样的视觉条件下既对训练有效又具有挑战性，为多模态和不确定性感知中的研究开辟了新的途径。我们的数据集和基准将公开提供。

    Jan, 2024

  • MOSI：网络观点视频中情感强度和客观性分析的多模态语料库

    本文提出了第一个在线视频情感和主观分析的观点级标注语料库 Multimodal Opinion-level Sentiment Intensity dataset（MOSI），并介绍了一种新的多模态融合方法，共同建模口语和视觉手势。

    Jun, 2016