Nov, 2021

LAION-400M：CLIP 过滤的 4 亿张图文对开放数据集

PDF
TL;DR这篇文章介绍了一个公共的数据集 LAION-400M，包含了 CLIP 过滤后的 4 亿对图片 - 文本配对、它们对应的 CLIP 嵌入以及 kNN 索引，能用于训练多模式语言视觉模型，进行零样本或少样本学习和迁移。
multi-modal language-vision modelsclipdall-elaion-400mzero or few-shot learning
发现论文，激发创造
  • LAION-5B: 用于训练下一代图像 - 文本模型的大规模开放数据集

    LAION-5B 是一个包含了 58.5 亿组图像 - 文本对的数据集，许多基础的模型如 CLIP、GLIDE 和 Stable Diffusion 成功地使用了该数据集进行复现和微调，这个数据集的开放也将推动更多基于大规模多模型的研究。

    Oct, 2022

  • 多模态数据集：厌女、色情和恶性刻板印象

    本文报道了一个规模为 400M 的过滤了不良内容的图像 - alt 文本数据集，该数据集在生成大规模机器学习模型时可能存在的问题和潜在涉及的利益攸关者（包括 AI 社区、监管机构、政策制定者和数据主体）的问题。

    Oct, 2021

  • NLLB-CLIP – 在预算内训练高性能多语言图像检索模型

    通过有限的预算，我们尝试解决多语言图像检索的挑战性任务，展示出使用 NLLB-CLIP 模型的训练结果，该模型在低资源语言上的质量与最先进模型相媲美且明显优于它们。

    Sep, 2023

  • 关于 LAION-2B 数据去重的研究

    本文提出了一种算法链，能够对规模为 20 亿张图片的 LAION-2B 数据集进行有效的重复检测，并揭示了大量的版权问题，能够充分解决当前模型训练时所遇到的问题。

    Mar, 2023

  • 数字中的魔鬼：走向稳健的多模式数据过滤器

    通过分析多模态数据集，我们观察到包含数字等冗余信息对 CLIP 得分的深远影响，因此提出了一种基于文本的过滤方法，实验证明在选择数据的过程中超过原始 CLIP 得分过滤器的性能表现，并提供了改善 CLIP 训练有效性的有价值洞见，包括语言重写技术。

    Sep, 2023

  • 从 LAION-5B 到 LAION-EO：使用锚定数据集过滤数十亿张图像进行卫星图像提取

    提出并演示了基于锚点数据集的提取方法，结合进一步过滤，用于卫星图像领域，从网络中获取高像素分辨率的文本和卫星图像对数据集 LAION-EO。论文概述了采集流程和数据集的一些特征。

    Sep, 2023

  • 解释 CLIP 在盲 / 低视能用户数据上的表现差异

    大型多模态模型 (LMMs) 在为盲人或低视力用户提供自动视觉辅助方面具有潜力。我们通过实证评估 CLIP，在零样本分类任务中测试了 25 个 CLIP 变体，发现其在盲人用户捕获的图像上的准确性平均低了 15 个百分点，原因是 CLIP 对图像内容、图像质量和文本内容的敏感性不足。通过对三个常见的预训练数据集进行文本分析，我们发现残疾内容很少被提及。我们还提供了三个示例，说明性能差异扩展到由 CLIP 支持的三个下游模型：OWL-ViT, CLIPSeg 和 DALL-E2。我们发现使用仅有 5 张图像进行少样本学习可以在某些情况下缓解 BLV 用户的 CLIP 的服务质量差异，我们还讨论了一系列可能的缓解措施。

    Nov, 2023

  • PMC-CLIP：使用医学文献进行对比语言 - 图像预训练

    本文介绍了一种基于 PMC-OA 生物医学数据集的 CLIP-style 预训练模型，该模型在多项下游任务中取得了最先进的结果，包括 ROCO 的图像文本检索、MedMNIST 的图像分类和医学 VQA。

    Mar, 2023

  • T-MARS：绕过文本特征学习以改进视觉表示

    基于我们观察到 LAION 图像中将近 40% 的图像包含与标题有显著重叠的文本，我们提出了一种新的最先进的数据过滤方法，T-MARS（文本遮罩和重新评分），通过先遮罩文本，然后过滤掉低 CLIP 相似性分数的遮罩图像，过滤掉只有文本占主导地位的图像对。实验结果表明，T-MARS 在 ImageNet 上超过 DataComp（数据过滤基准）的最高排名方法 6.5%，在 VTAB 上超过 4.7%。此外，我们对不同数据池大小从 2M 到 64M 的系统评估显示，T-MARS 随着数据和计算的指数级扩大而线性增加的准确性优势。

    Jul, 2023

  • Unicom: 用于图像检索的通用紧凑表示学习

    本文研究了图像检索方法中预训练模型的应用，提出了一种基于 CLIP 模型从联合文本和视觉特征提取像素类描述符的方法，采用部分原型随机选择以及特征维度随机选择的方法来提高特征表示和冲突鲁棒性，最终在多个基准测试中取得了超过现有方法的性能表现。

    Apr, 2023