DataComp 基准测试是一个围绕 Common Crawl 的约 128 亿个图像文本对的数据集实验平台，通过提出新的训练集来激励数据集的研究。通过应用简单的过滤算法，DataComp-1B 被创建并用于训练一个 CLIP ViT-L / 14 模型，使其在 ImageNet 上达到 79.2％的零 - shot 准确率，表明通过精心策划的训练集可能会提高模型的性能。

Apr, 2023

本论文介绍了在参加 DataComp 挑战时的学习和解决方案，通过三个阶段的筛选策略与已有方法整合以及提出新的解决方案，如使用水平翻转图像计算 CLIP 分数以减轻场景文字的干扰、利用视觉和语言模型检索目标下游任务的训练样本，重新平衡数据分布以提高计算预算分配效率等，获得了比 DataComp 论文中最佳方法平均性能提高 4% 的成绩，以及在 ImageNet 上提高 2% 以上的成绩。

Sep, 2023

通过探索不同的混合策略，我们发现合成字幕能够增加网络爬取数据点的效用，并且在 38 个任务中，对于 ImageNet 表现比 DataComp 基准提高 2%， 平均值提高 4%。此外，我们发现使用合成字幕进行多模态训练时，标准图像字幕基准的性能并不可靠，还对 1.28B 图像 - 文本对的大规模分析提供了对合成文本的局限性和随着训练数据数量增加图像筛选的重要性的见解。

Jul, 2023

我们的研究发现，数据过滤方法在图像和文本领域也存在偏见和价值观，并且与一些边缘群体相关的数据更容易被排除。此外，我们还发现现有的数据过滤方法可能加剧数据收集中存在的不平衡问题，并且有必要对数据集的创建和过滤做出根本性的改变。

May, 2024

通过分析多模态数据集，我们观察到包含数字等冗余信息对 CLIP 得分的深远影响，因此提出了一种基于文本的过滤方法，实验证明在选择数据的过程中超过原始 CLIP 得分过滤器的性能表现，并提供了改善 CLIP 训练有效性的有价值洞见，包括语言重写技术。

Sep, 2023

该研究通过采用人工智能算法对图像文本数据进行高质量压缩，并利用训练出的奖励模型作为人类般的裁判来过滤不对齐 / 低质量的图像文本对。

Dec, 2023

利用 OpenAI CLIP 模型中的视觉和文本特征进行任务细化微调，然后通过训练 Combiner 网络来整合双模态信息，并提供用于检索的组合特征，结果表明这种方法在复合图像检索方面优于当前先进方法。

Aug, 2023

通过数据修剪的两种方法改进图像字幕生成，一种假设应该避免一些样本，另一种假设通过替换图像，使用最先进的 Stable Diffusion 模型，这些方法在 BLIP 模型上 MS COCO 和 Flickr30 k 中进行了评估。我们的方法一直优于基准，说明可以通过修剪现有资源来训练更好的图像字幕模型。最后，我们进行了人类研究，以了解稳定扩散模型的错误并突出未来的文本到图像之旅。

May, 2023

通过细调多模式语言模型，进行图像文本数据的过滤，设计了四个综合衡量图像文本数据质量的度量标准，并建立了一个新的流水线用于构建高质量指导数据，以提高预训练模型性能。在不同模型和任务上，与传统方法相比，我们的多模式语言模型过滤器取得了显著的改进效果。

Mar, 2024

本研究关注于通过改善数据质量和数据多样性，特别强调了视觉概念与标题的整合，提出了一种用于 web 爬取数据集训练的新方法 VeCLIP，通过综合评估数据效率和模型性能，证明了 VeCLIP 在改善图片 - 文本对齐和整体模型性能方面的显著优势。

Oct, 2023