Oct, 2022

LAION-5B: 用于训练下一代图像 - 文本模型的大规模开放数据集

PDF
TL;DRLAION-5B 是一个包含了 58.5 亿组图像 - 文本对的数据集，许多基础的模型如 CLIP、GLIDE 和 Stable Diffusion 成功地使用了该数据集进行复现和微调，这个数据集的开放也将推动更多基于大规模多模型的研究。
language-vision architectureslarge-scale language-vision modelsclipmulti-modal modelslaion-5b dataset
发现论文，激发创造
  • LAION-400M：CLIP 过滤的 4 亿张图文对开放数据集

    这篇文章介绍了一个公共的数据集 LAION-400M，包含了 CLIP 过滤后的 4 亿对图片 - 文本配对、它们对应的 CLIP 嵌入以及 kNN 索引，能用于训练多模式语言视觉模型，进行零样本或少样本学习和迁移。

    Nov, 2021

  • 多模态数据集：厌女、色情和恶性刻板印象

    本文报道了一个规模为 400M 的过滤了不良内容的图像 - alt 文本数据集，该数据集在生成大规模机器学习模型时可能存在的问题和潜在涉及的利益攸关者（包括 AI 社区、监管机构、政策制定者和数据主体）的问题。

    Oct, 2021

  • 从 LAION-5B 到 LAION-EO：使用锚定数据集过滤数十亿张图像进行卫星图像提取

    提出并演示了基于锚点数据集的提取方法，结合进一步过滤，用于卫星图像领域，从网络中获取高像素分辨率的文本和卫星图像对数据集 LAION-EO。论文概述了采集流程和数据集的一些特征。

    Sep, 2023

  • NLLB-CLIP – 在预算内训练高性能多语言图像检索模型

    通过有限的预算，我们尝试解决多语言图像检索的挑战性任务，展示出使用 NLLB-CLIP 模型的训练结果，该模型在低资源语言上的质量与最先进模型相媲美且明显优于它们。

    Sep, 2023

  • 关于 LAION-2B 数据去重的研究

    本文提出了一种算法链，能够对规模为 20 亿张图片的 LAION-2B 数据集进行有效的重复检测，并揭示了大量的版权问题，能够充分解决当前模型训练时所遇到的问题。

    Mar, 2023

  • 可再现的对比语言 - 图像学习的比例定律

    本研究探索了对比语言 - 图像预训练（CLIP）的缩放定律，使用了公共数据集和开放源代码来研究缩放规律，并发现训练分布在缩放规律中起关键作用。通过在多个下游任务中评估最大规模的公共 CLIP 模型，我们发现在多个下游任务中，有效训练集大小、模型大小和计算量与性能之间具有幂律缩放关系。

    Dec, 2022

  • GLAMI-1M: 多语言图像文本时尚数据集

    GLAMI-1M 是一个包含多语言、时尚产品图像及描述的最大分类数据集，共包含 191 个类别，通过人工标注的测试集和部分训练集对其进行高质量注释。该数据集可用于图像生成和文本分类，最佳 EmbraceNet 模型在使用视觉和文本特征的情况下达到了 69.7% 的准确率并展示了其具有挑战性的精细分类问题。

    Nov, 2022

  • BLIP: 为实现统一的视觉语言理解与生成，引入语言 - 图像引导预训练

    本文提出了 BLIP 作为新的 VLP 框架，通过引入 captioner 生成合成字幕，并使用 filter 删除噪音数据，能灵活地传输视觉语言理解和生成任务，获得了在一系列视觉语言任务中最先进的结果，同时在零样本任务中也表现出极强的泛化能力。

    Jan, 2022

  • TRINS：面向能够阅读的多模态语言模型

    通过引入 TRINS 数据集和 LaRA 模型，本研究提升了多模式大语言模型在理解图片中的文本内容方面的能力。TRINS 数据集包含了 39,153 个文本丰富的图片、图片描述和 102,437 个问题，并且较之相关数据集，TRINS 的每个标注的字数显著增加。实验结果表明，LaRA 模型在 TRINS 数据集和其他经典基准上表现出色，提高了对于文本丰富图片的理解和生成任务的效果。

    Jun, 2024

  • DialogCC：大规模多模态对话数据集

    本文介绍了一种基于 CLIP 相似度的多模态对话数据集创建管道，使用这个管道，我们提出了一个大规模的多模态对话数据集 DialogCC，并且通过广泛的实验结果表明，使用我们的数据集训练多模态对话模型可以改善泛化性能，与此同时，使用我们的数据集训练的现有模型在图像和文本检索任务上取得了最先进的表现。

    Dec, 2022