CVPRMar, 2022

3MASSIV：社交媒体短视频的多语言、多模态和多层面数据集

PDF
TL;DR3MASSIV 是一个多语言、多模态、多方面的专家标注数据集，由来自 Moj 短视频社交媒体平台的多样化短视频和 11 种不同语言的 100K 未标注视频组成，通过其独特的音频和视觉格式表达了流行的短视频趋势，介绍了 3MASSIV 并分析了其与强基线下其他现代流行数据集的不同之处，并展示了如何使用 3MASSIV 的社交媒体内容在语义理解任务和跨语言分析中应用。
发现论文，激发创造
  • M$^3$AV: 多模式、多文体和多用途的音视频学术讲座数据集

    通过提供高质量的人工注释，本文提出了一个全新的多模态、多类型和多用途的音频 - 视频学术讲座数据集，旨在支持多种音视频识别和理解任务，从而展示了 M^3AV 数据集的多样性和挑战性。

    Mar, 2024

  • 多媒体社交分析的数据集和基准测试

    该论文介绍了一个通过从社交媒体网站获取包含多个成对图像 / 视频和文本的帖子以及包含图像 / 视频和 / 或文本的评论树来实现多模态学习的新的可公开获取的数据集，并提供了基线性能分析，适用于图像字幕、情感分析和预训练模型等多项任务。

    Jun, 2020

  • 多语种事件视频与对齐自然文本

    构建了 MultiVENT 数据集，该数据集包括多语言、以事件为中心的视频，用于分析在线新闻视频的状态，并利用其构建强大、事实准确的模型，并提供了一种用于信息检索的复杂、多语言视频检索模型作为基准。

    Jul, 2023

  • MM-Soc: 社交媒体平台上多模态大型语言模型的基准测试

    社交媒体是多模态信息交流的中心，包括文本、图片和视频，这对机器来理解在线空间中的信息或情感相关的交互构成了挑战。本文介绍了 MM-Soc，一个综合性基准，旨在评估多模态大型语言模型对多模态社交媒体内容的理解能力。通过我们对四个开源多模态大型语言模型的十个规模变体的详尽评估，我们发现了重要的性能差异，突出了模型在社交理解能力方面的改进需求。

    Feb, 2024

  • 大规模多语言多模态摘要数据集

    该研究介绍了目前最大的多语言多模态摘要数据集 (M3LS)，该数据集由超过一百万个来自 BBC 的新闻文章组成，跨越 20 种语言，目标在于 5 个语言根上的多样性。研究者们利用该数据集定义了一项多语言多模态摘要任务，并在多语言环境下使用各种最先进的摘要技术报告了基准分数。

    Feb, 2023

  • MOSI：网络观点视频中情感强度和客观性分析的多模态语料库

    本文提出了第一个在线视频情感和主观分析的观点级标注语料库 Multimodal Opinion-level Sentiment Intensity dataset（MOSI），并介绍了一种新的多模态融合方法，共同建模口语和视觉手势。

    Jun, 2016

  • 音视时刻：一个大规模标注的音视行动数据集

    我们提供了一个大规模的音频视觉动作事件数据集 (AVMIT)，它包含了被 11 名受训者独立评估的 57,177 个音频视觉视频的标注结果。这个数据集还附带了预先计算好的音频和视觉特征嵌入，并基于此进行了音频视觉事件识别性能的改进研究。通过在 6 个递归神经网络 (RNNs) 上进行训练和测试，我们发现专门使用音频视觉事件进行训练可以显著提高识别性能。我们有理由相信，这个新标注的 AVMIT 数据集将成为研究和比较实验的有价值资源，特别是在涉及到音频视觉对应关系的研究问题中。

    Aug, 2023

  • MultiSum：用于视频的多模式摘要和缩略图生成的数据集

    通过创建包含视频和文本内容的人工验证摘要、17 个主分类和 170 个子分类的全面的数据集 MultiSum dataset，本文针对现有公共 MSMO 数据集的限制进行研究，进行了基准测试，并推出了数据收集工具和开放源代码资源以促进透明度和加速未来发展。

    Jun, 2023

  • 语言模型能在 YouTube 短视频中大笑吗？

    使用 GPT-3.5 过滤与嘲笑相关的语言与视觉元素，通过时间戳和文字解释为每个视频注释，以提高大型语言模型对视频幽默的理解。

    Oct, 2023

  • 时刻数据集：百万事件视频用于事件理解

    Moments in Time 数据集是一个包含 100 万短视频的大型人工注释集合，主要用于研究动态事件的空间 - 音频 - 时间动态建模，包括 339 个类别的活动标注，可作为发展至人类日常处理的复杂性和抽象推理水平的模型的新挑战。

    Jan, 2018