介绍了 OmniCorpus 数据集，一个 100 亿级别的图文交错数据集，与互联网数据的呈现范式相一致并且紧密符合人类阅读习惯，通过全面的分析和实验验证了所提出数据集的质量、可用性和有效性，为未来的多模态模型研究提供了坚实的数据基础。

Jun, 2024

LAION-5B 是一个包含了 58.5 亿组图像 - 文本对的数据集，许多基础的模型如 CLIP、GLIDE 和 Stable Diffusion 成功地使用了该数据集进行复现和微调，这个数据集的开放也将推动更多基于大规模多模型的研究。

Oct, 2022

Multimodal Large Language Models (mLLMs) that are trained on caption-like and interleaved text-image data, such as mOSCAR, show improved in-context learning capabilities, boost in few-shot learning performance across various multilingual image-text tasks and benchmarks, and address the limitation of current multilingual and multimodal datasets.

Jun, 2024

本文报道了一个规模为 400M 的过滤了不良内容的图像 - alt 文本数据集，该数据集在生成大规模机器学习模型时可能存在的问题和潜在涉及的利益攸关者（包括 AI 社区、监管机构、政策制定者和数据主体）的问题。

Oct, 2021

介绍了一种名为 EDIS 的跨模态图像搜索数据集，包括一百万个来自实际搜索引擎结果和策划数据集的 Web 图像，并与文本描述配对，旨在鼓励开发可以同时处理跨模态信息融合和匹配的提取模型，实验证明纯文本和视觉特征的融合对性能有很大影响。

May, 2023

这篇文章介绍了一个公共的数据集 LAION-400M，包含了 CLIP 过滤后的 4 亿对图片 - 文本配对、它们对应的 CLIP 嵌入以及 kNN 索引，能用于训练多模式语言视觉模型，进行零样本或少样本学习和迁移。

Nov, 2021

我们提供了 Belebele，这是一个涵盖了 122 种语言的多选机器阅读理解（MRC）数据集。该数据集显著扩展了自然语言理解（NLU）基准的语言覆盖范围，在高、中、低资源语言中评估了文本模型，从而使得对模型性能的直接比较成为可能。通过这个数据集，我们评估了多语言掩码语言模型（MLMs）和大型语言模型（LLMs）的能力，并得出了一些结论。

Aug, 2023

ODISE 通过联合预训练的文本 - 图像推理和判别式模型实现开放式语料库全景分割，其能力高于现有技术水平，并能在 AED20K 数据集上达到 30.0 mIoU 和 23.4 PQ 的表现。

Mar, 2023

介绍了迄今为止最广泛且多样化的开源多模态交错数据集 MINT-1T，其中包括十亿个文本标记和三十亿个图像，并分享了在该数据集上训练的大型多模态模型 LMMs 的性能与之前领先数据集 OBELICS 相媲美。

Jun, 2024

Multimodal C4 is a publicly available dataset that supports in-context vision and language models, including linear assignment algorithm, for complex learning between images and texts.

Apr, 2023