Nov, 2023

歌曲描述数据集：用于音乐与语言评估的音频标题语料库

PDF
TL;DR我们介绍了 “歌曲描述者数据集 (SDD)”，这是一个新的众包语料库，用于评估音乐和语言模型。该数据集包含 1.1k 个人工编写的自然语言描述和 706 个音乐录音的对应，全部都是公开可访问的，且都在创作共用许可证下发布。为了展示我们数据集的用途，我们在三个关键的音乐和语言任务上对一些热门模型进行了基准测试（音乐字幕生成、文本到音乐生成和音乐语言检索）。我们的实验强调了跨数据集评估的重要性，并提供了研究人员如何利用 SDD 来获得更全面的模型性能理解的见解。
song describer datasetaudio-caption pairsmusic-and-language modelscross-dataset evaluationmodel performance
发现论文，激发创造
  • 音频 - 语言表示学习的大规模数据集

    我们提出了一种基于公共工具或 API 的创新型自动音频说明生成流程，并构建了一个大规模、高质量的音频语言数据集 Auto-ACD，其中包含超过 190 万个音频文本对。通过在我们的数据集上训练流行模型并展示在各种下游任务（包括音频语言检索、音频说明和环境分类）上的性能改进，证明了所提出数据集的有效性。此外，我们建立了一个新颖的测试集，并为音频文本任务提供了一个基准。该数据集将在此 https URL 上发布。

    Sep, 2023

  • MidiCaps -- 一个带有文本说明的大规模 MIDI 数据集

    通过结合语言模型与音乐编码的 MidiCaps 数据集，该研究旨在推动生成模型在文本到 MIDI 的领域的发展，并促进音乐信息检索和自然语言处理交叉领域的进展。

    Jun, 2024

  • 迈向音乐字幕生成：生成音乐播放列表描述

    本研究提出了一种音乐播放列表描述生成方法，使用音频内容分析和自然语言处理技术，称为音乐字幕生成。

    Aug, 2016

  • QuerYD：一个具有高质量文本和音频叙述的视频数据集

    QuerYD 是一个用于视频检索和事件定位的大规模数据集，其独特之处在于每个视频都提供了两个音轨：原始音频和视觉内容高质量的口述描述，该数据集基于 YouDescribe 项目，其音频和文本注释都是高度详细和与时间对齐的。该数据集可以用于训练和评估视频理解的模型，并公开了数据、代码和模型。

    Nov, 2020

  • 电影描述数据集

    本文提出了一个新的数据集 “Movie Description Dataset”，其中包括对于 72 部高清电影的超过 54,000 个句子和视频片段的平行语料库，此外，还比较了 DVS 和电影脚本这两种不同类型的电影描述。该数据集可用于基于计算机视觉和计算语言学的视频描述生成算法的性能评估。

    Jan, 2015

  • RECAP: 检索增强音乐字幕生成器

    通过对多模态数据的构建和深度学习模型的训练，本文提出了一种在音频和歌词之间学习对准关系的方法，并通过此方法优化跨模态对齐，并为音乐搜索和推荐提供了理论和实证结果。

    Dec, 2022

  • 音频对话：用于音频和音乐理解的对话数据集

    通过大型语言模型生成多轮对话，展示了音频理解中的复杂性和适用性。

    Apr, 2024

  • MAD: 电影音频描述视频语言基础数据集

    该论文提出了 MAD 基准测试，通过爬取和对齐可用的主流电影音频描述，包含超过 384,000 个自然语言句子，展示出视频语言基础数据集中存在的偏差的显着减少，使短暂的时间点可以准确地与长达三个小时的视频相匹配。

    Dec, 2021

  • AudioSetMix: 用 LLM 辅助增强音频 - 语言数据集

    我们通过增加自然语言标签和相应的音频信号处理操作，使用大型语言模型提供了一个高质量的训练数据集，该数据集在文本和音频相关模型的基准测试中提供了多样化且更好对齐的示例，从而改善了模型的性能。

    May, 2024

  • 使用自然语言查询的音频检索：基准研究

    本研究提出了三个新的跨模态检索基准，用于研究现有文献中关注度较低的文本 — 音频和音频 — 文本检索任务。研究团队通过不同音频任务的预训练，在这三个基准上建立了交叉模态文本 — 音频和音频 — 文本检索的基线，并公开了数据集和代码，希望这些基准能够激发有关自由文本查询的音频检索的研究。

    Dec, 2021