通过分析多模态数据集，我们观察到包含数字等冗余信息对 CLIP 得分的深远影响，因此提出了一种基于文本的过滤方法，实验证明在选择数据的过程中超过原始 CLIP 得分过滤器的性能表现，并提供了改善 CLIP 训练有效性的有价值洞见，包括语言重写技术。

Sep, 2023

本论文介绍了在参加 DataComp 挑战时的学习和解决方案，通过三个阶段的筛选策略与已有方法整合以及提出新的解决方案，如使用水平翻转图像计算 CLIP 分数以减轻场景文字的干扰、利用视觉和语言模型检索目标下游任务的训练样本，重新平衡数据分布以提高计算预算分配效率等，获得了比 DataComp 论文中最佳方法平均性能提高 4% 的成绩，以及在 ImageNet 上提高 2% 以上的成绩。

Sep, 2023

通过细调多模式语言模型，进行图像文本数据的过滤，设计了四个综合衡量图像文本数据质量的度量标准，并建立了一个新的流水线用于构建高质量指导数据，以提高预训练模型性能。在不同模型和任务上，与传统方法相比，我们的多模式语言模型过滤器取得了显著的改进效果。

Mar, 2024

DataComp 基准测试是一个围绕 Common Crawl 的约 128 亿个图像文本对的数据集实验平台，通过提出新的训练集来激励数据集的研究。通过应用简单的过滤算法，DataComp-1B 被创建并用于训练一个 CLIP ViT-L / 14 模型，使其在 ImageNet 上达到 79.2％的零 - shot 准确率，表明通过精心策划的训练集可能会提高模型的性能。

Apr, 2023

本文报道了一个规模为 400M 的过滤了不良内容的图像 - alt 文本数据集，该数据集在生成大规模机器学习模型时可能存在的问题和潜在涉及的利益攸关者（包括 AI 社区、监管机构、政策制定者和数据主体）的问题。

Oct, 2021

本文介绍了我们在 DataComp 挑战赛的筛选和修改轨道上的解决方案，采用大型多模态模型 CLIP 和 BLIP-2 对网络爬行数据进行过滤和修改，并利用外部数据集和一系列技巧来提高数据质量。实验证明我们的解决方案在 DataComp 基线的基础上取得了显著的进展（筛选轨道：改善了 6.6％，BYOD 轨道：改善了 48.5％）。

Oct, 2023

以数据筛选为核心的对比语言 - 图像预训练及元数据筛选的方法 MetaCLIP，在多个标准基准测试中优于 CLIP 以 CommonCrawl 为数据源的结果，MetaCLIP 在零样本 ImageNet 分类中达到 70.8% 的准确率，并在 1B 数据的情况下保持相同的训练预算达到 72.4% 的准确率。

Sep, 2023

本文提出 CLIP-benchmark，对 CLIP 及其变种进行评估、分析和基准测试，并发现了数据、监督和模型架构三个关键因素对性能的影响及应用更恰当的监督可以有效提高 CLIP 性能。

Mar, 2022

本文介绍两种有效方法来提高 CLIP 模型的效率和鲁棒性：（1）在维持相同优化步数的情况下增加训练数据集，（2）过滤包含图像中文本区域的样本，从而在像 ImageNet 和 CoCo 公共基准测试中显著提高分类和检索精度。过滤掉包含文本区域的图像还可保护模型免受排版攻击。通过构建名为 ImageNet with Adversarial Text Regions（ImageNet-Attr）的新数据集，验证了这一点。我们的基于过滤的 CLIP 模型在 top-1 精度方面表现出 68.78％的性能，胜过以前的所有模型，其精度均低于 50％。

May, 2023

通过探索不同的混合策略，我们发现合成字幕能够增加网络爬取数据点的效用，并且在 38 个任务中，对于 ImageNet 表现比 DataComp 基准提高 2%， 平均值提高 4%。此外，我们发现使用合成字幕进行多模态训练时，标准图像字幕基准的性能并不可靠，还对 1.28B 图像 - 文本对的大规模分析提供了对合成文本的局限性和随着训练数据数量增加图像筛选的重要性的见解。

Jul, 2023