Mar, 2015

YFCC100M：多媒体研究的新数据

PDF
TL;DR该研究介绍了雅虎 Flickr 创意共享千万数据集 (YFCC100M)，其包含约 1 亿个多媒体对象，其中约 99.2 万个为照片，0.8 万个为视频，所有对象均带有创意共享许可证。该数据集提供了详细的元数据信息和从 2004 年到 2014 年初的照片和视频的共享情况，对于科学、研究、工程和开发等领域具有重要意义。
yahooflickryfcc100mdatasetmultimedia
发现论文，激发创造
  • YFCC100M 数据集上大规模深度学习

    该研究旨在通过利用 HPC 架构，对最大的公开图像和视频数据集进行深度学习，提出了一种具有 150 亿参数的三层深度神经网络的训练方案，并取得了可喜的初步结果。

    Feb, 2015

  • 多媒体社交分析的数据集和基准测试

    该论文介绍了一个通过从社交媒体网站获取包含多个成对图像 / 视频和文本的帖子以及包含图像 / 视频和 / 或文本的评论树来实现多模态学习的新的可公开获取的数据集，并提供了基线性能分析，适用于图像字幕、情感分析和预训练模型等多项任务。

    Jun, 2020

  • EUFCC-340K：面向 GLAM 藏品元数据标注的多面向层次数据集

    本研究讨论了在文化遗产领域中自动元数据注释的挑战，并介绍了一种新颖的数据集 EUFCC340K。该数据集采集自 Europeana 门户网站，包含超过 340,000 张图像，并按照材料、对象类型、学科和主题等多个维度进行组织，遵循 AAT 的分层结构。研究开发了多种基线模型，基于 ConvNeXT 骨干网络在图像各个维度上进行多标签标注，并使用图像文本对对 CLIP 模型进行微调。两个不同的测试场景下的实验证明了该数据集在改进多标签分类工具方面的鲁棒性和泛化能力，有潜力缓解文化遗产部门的编目任务。

    Jun, 2024

  • YouTube-8M: 大规模视频分类基准

    该论文介绍了一个由 4800 个可视实体组成，由 8 百万个视频（500k 小时的视频）组成的最大多标签视频分类数据集 YouTube-8M，并通过训练各种分类模型和评估它们来作为基准。

    Sep, 2016

  • V3C - 研究性视频收藏

    介绍了 Vimeo 创意共用收藏集（V3C），一项包含 28,450 个视频的大规模视频数据集，提供拍摄内容分割、关键帧和元数据等，用于大规模视频检索评估。

    Oct, 2018

  • Twitter100k：用于弱监督跨媒体检索的真实世界数据集

    本文提出了 Twitter100k 数据集和一种基于弱监督的学习方法，在跨媒体检索任务中实现了更好的性能，并提出基于 OCR 的跨媒体检索方法，并在 Twitter100k 数据集上得到了验证。

    Mar, 2017

  • MS-Celeb-1M: 大规模人脸识别的数据集和基准

    本文提出了一个基于知识库的人脸识别基准任务，建立相关的数据集，通过该任务可以识别 100 万名人的面部图像，并将其链接到相应的实体密钥。我们提供了具体的度量集，评估协议以及训练数据，并报告了有前途的基线结果，将有助于图像字幕和新闻视频分析等实际应用。

    Jul, 2016

  • MM-Claims: 社交媒体上的多模态主张检测数据集

    本文介绍了一个新的跨语言、跨国的深度学习模型，用于检测社交媒体平台上的虚假信息，包括图像和文本特征分析，详述了该模型使用的 MM-Claims 数据集，通过多模态模型的训练得出了一系列的结论和推荐。

    May, 2022

  • Flickr30k 实体：收集区域到短语的对应关系以构建更丰富的图像到句子模型

    本文介绍了 Flickr30k 实体数据集，其中增加了 244k 个共指链，将相同实体的提及于同一图像中的不同标题链接起来，并与 276k 个手动标注的边界框关联。该注释对于自动图像描述和基于语言的图像理解的持续进展至关重要。

    May, 2015

  • Flickr1024：用于立体图像超分辨率的大规模数据集

    该研究提出了一个名为 Flickr1024 的大规模立体数据集，由于最近发布的智能手机中双摄像头的普及，越来越多的超分辨率方法被提出来用于增强立体图像对的分辨率，但是高质量三维立体数据集的缺乏限制了该领域的研究。实验表明，与 KITTI 和 Middlebury 数据集相比，Flickr1024 数据集有助于处理过度拟合问题，并显着改进了立体 SR 方法的性能。

    Mar, 2019