Jun, 2024

PIN：一种适用于配对和交错多模态文档的知识密集数据集

PDF
TL;DR最近，对大型多模态模型（LMMs）的最新进展借鉴了丰富的多模态数据集，以增强复杂的知识驱动任务的能力。然而，感知和推理错误的持续挑战限制了它们的效力，尤其是在解释复杂视觉数据和推断多模态关系方面。针对这些问题，我们引入了一种新颖的数据集格式，PIN（配对和交错多模态文档），旨在显著提高多模态训练的深度和广度。PIN 格式基于三个基本原则：知识密度、可伸缩性和对不同训练模态的支持。这种创新的格式将 Markdown 文件和全面的图像结合起来，用密集的知识结构和灵活的训练策略丰富训练数据。我们提供了 PIN-14M，一个由来自各种中英文来源的 1400 万个样本构成的开源数据集，旨在包含复杂的网络和科学内容。这个数据集精心构建，以确保数据质量和道德完整性，旨在促进先进的训练策略，并提高模型在常见多模态训练陷阱中的鲁棒性。我们的初步结果成为本技术报告的基础，表明 PIN 格式在提高 LMM 性能方面具有重要潜力，未来还计划扩展并详细评估其对模型能力的影响。
large multimodal modelspin datasetmultimodal trainingknowledge-driven tasksmodel performance
发现论文，激发创造
  • 利用大规模网络标注图像进行多模态词嵌入的训练和评估

    本研究旨在使用文本和视觉信息进行有效的单词嵌入训练和评估。研究人员提出了一个大规模数据集，其中包含 300 万语句，描述了来自 Pinterest 的超过 4000 万张图像。该研究还报道了一种基于 RNN 的多模态模型，通过在嵌入中整合视觉信息，该模型可以找到语义相似或相关的单词和短语。经验表明，共享策略对于学习这种多模态嵌入至关重要。

    Nov, 2016

  • 大规模双语言 - 图像对比学习

    本文介绍了利用 11 亿的图文对数据（7.08 亿的韩语数据和 4.76 亿的英语数据）训练出的一种名为 KELIP 的韩 - 英双语多模态模型的简单而有效的训练方案，并证明了该模型在两种语言中的性能相当竞争力，同时讨论了一些与多模态相关的研究问题。

    Mar, 2022

  • 大规模多语言多模态摘要数据集

    该研究介绍了目前最大的多语言多模态摘要数据集 (M3LS)，该数据集由超过一百万个来自 BBC 的新闻文章组成，跨越 20 种语言，目标在于 5 个语言根上的多样性。研究者们利用该数据集定义了一项多语言多模态摘要任务，并在多语言环境下使用各种最先进的摘要技术报告了基准分数。

    Feb, 2023

  • LAMM: 多模态指导语言调整数据集，框架和基准测试

    这篇研究将大型语言模型（MLLM）扩展到处理点云，建立了 LAMM 数据集和基准，为 MLLM 建立了可扩展的框架以适用于额外的模态，任务和领域。

    Jun, 2023

  • MINT-1T：将开源多模态数据放大 10 倍：一万亿令牌的多模态数据集

    介绍了迄今为止最广泛且多样化的开源多模态交错数据集 MINT-1T，其中包括十亿个文本标记和三十亿个图像，并分享了在该数据集上训练的大型多模态模型 LMMs 的性能与之前领先数据集 OBELICS 相媲美。

    Jun, 2024

  • WuDaoMM：大规模多模态数据集用于预训练模型

    本篇论文介绍了一种大规模多模态库 WuDaoMM 用于 Vision-Language 解决方案的预训练模型，其中包含了超过 650M 的弱相关和强相关的图片 - 文本对，并经过实验证明，WuDaoMM 是一种高效的 VLPMs 数据集。

    Mar, 2022

  • SciMMIR：科学多模态信息检索的基准评测

    通过高级表示学习和跨模态对齐研究，在图像 - 文本匹配方面取得了显著进展。为了弥补科学领域中目前评估图像 - 文本匹配性能的不足，我们开发了一种专门的科学多模态信息检索（SciMMIR）基准，利用开放获取的论文集提取与科学领域相关的数据，包括从科学文档中提取的详细标题的图表图像对，并对其进行了两级子集 - 子类别层次注释，以便更全面地评估基线模型。我们对重要的多模态图像字幕生成和视觉语言模型（如 CLIP 和 BLIP）进行了零样本和微调评估，分析结果为科学领域的多模态信息检索提供了关键洞察，包括预训练和微调设置的影响以及视觉和文本编码器的影响。所有我们的数据和检查点都可以在该 URL 中公开获取。

    Jan, 2024

  • 万卷：推动英文和中文大型模型的全面多模态数据集

    本文介绍了 “Wan Juan” 数据集，一个大规模多模态数据集，包括中英文数据、文本、图像文本和视频模态，总容量超过 2TB。该数据集被用于训练 InternLM 模型，在与类似规模的模型相比的多维评估中展现出显著优势。

    Aug, 2023

  • CoMM：一种用于多模态理解与生成的连贯交织的图像文本数据集

    CoMM 数据集提供了同时生成图像和文本的高质量多模态内容，以增强多模态大语言模型的一致性和准确性，并在多个下游任务中显示出显著的上下文学习能力。

    Jun, 2024

  • Multimodal C4: 亿级图文混合语料库

    Multimodal C4 is a publicly available dataset that supports in-context vision and language models, including linear assignment algorithm, for complex learning between images and texts.

    Apr, 2023