Apr, 2023

AToMiC: 支持多媒体内容创作的图像 / 文本检索测试集

PDF
TL;DR介绍了 ATOMIC 数据集，旨在推进图像 / 文本跨模态检索的研究。该数据集采用多层次结构和不同域的文本、样式和图像类型，以及嵌入维基百科的大规模图像 - 文档关联性，构建了一种适应真实用户模型的检索测试集合，提供了可扩展、多样化、可重复制的多媒体检索研究的试验基础。
atomic datasetcross-modal retrievalhierarchical structuresdiverse domainsmultimedia content creation
发现论文，激发创造
  • WIT: 基于维基百科的图像文本数据集，用于多模态多语言机器学习

    本文介绍了 Wikipedia-based Image Text（WIT）数据集，该数据集是由不同语言构成的 37.6 百万个实体丰富的图像文本示例组成，可用于多模态模型的预训练，如应用于图像文本检索等下游任务。WIT 数据集有四个主要的优势，规模大、多语种、覆盖的概念和实体比以前的数据集更加多样化，并提供一个非常具有挑战性的真实世界的测试集。

    Mar, 2021

  • MedICaT: 医学影像、字幕和文本参考数据集

    介绍了用于 MedICaT 医学图像的上下文数据集，其中包括来自 131k 篇开放获取生物医学论文的 217k 个图像。该数据集用于研究复合图中的子图对子标题的自动对齐，并展示了内联引用在图像文本匹配中的效用。

    Oct, 2020

  • OmniCorpus：一个包含百亿级图像和文本交叉编码的统一多模态语料库

    介绍了 OmniCorpus 数据集，一个 100 亿级别的图文交错数据集，与互联网数据的呈现范式相一致并且紧密符合人类阅读习惯，通过全面的分析和实验验证了所提出数据集的质量、可用性和有效性，为未来的多模态模型研究提供了坚实的数据基础。

    Jun, 2024

  • 面向图像检索的多模态查询嵌入算法

    本文提供了一种检测基于多模态查询的图像检索任务的新数据集 SIMAT，使用图像 / 文本匹配预测器来评估基于图像 / 文本匹配策略训练的多模态嵌入空间的几何属性，并研究了利用预训练通用句子编码器（FastText，LASER 和 LaBSE）是否有益。

    Dec, 2021

  • 通过利用图文辅助任务提升社交媒体帖子的多模态分类

    利用社交媒体帖子中的多模态信息，通过引入辅助损失与主任务相结合的方式，成功解决了文本和图像信息融合中的挑战，取得了一致的改进效果，并通过详细分析揭示了辅助任务在特定场景和案例中的最有效性。

    Sep, 2023

  • 多模态码本在文本图像翻译中的应用

    本文提出了多模态码本的 TIT 模型和多阶段的培训框架，充分利用 OCR 数据集和我们的 OCRMT30K 数据集训练模型，为后续研究提供便利。

    May, 2023

  • 通过生成模型改进文本 - 视觉交叉检索：观察、想象和匹配

    本文提出一种新的跨模态检索方法，利用生成式模型学习多模态数据的全局和本地特征，从而在 MSCOCO 数据集上实现了最先进的跨模态检索结果。

    Nov, 2017

  • 零样本跨语言图像检索

    该论文介绍了一种使用跨语言预训练进行零 - shot 学习的多模式语言和视觉问题解决方法，它可以用于构建跨语言图像检索模型和改进文本嵌入聚类，并在多语言环境下进行评估。

    Nov, 2020

  • StacMR: 场景文本感知的跨模态检索

    本文提出了一个新的数据集，使得可以探索图像包含场景文本实例时的交叉检索。我们提出了几种方法，其中包括更好的场景文本感知交叉检索方法，它使用了来自标题和视觉场景文本的专门表示，并将它们调和在一个公共嵌入空间中。大量实验证实了这些方法从场景文本中受益，并突出了值得进一步探索的有趣研究问题。本文中提出的数据集和代码可在 http URL 中获得。

    Dec, 2020

  • 跨媒体 - 3600：一款大规模多语言多模态评估数据集

    本文提出了 Crossmodal-3600 数据集，其中包含 3600 张图片，涵盖了 36 种语言中所使用的地区，并使用人工参考标题对其进行了注释。该数据集被应用于大规模多语言图片字幕模型的选择，并在使用 XM3600 作为自动度量的黄金参考时，展示出与人工评估更高的相关性结果。

    May, 2022