Apr, 2024

缩放 (下降) CLIP: 数据、架构和训练策略的全面分析

HTML
PDF
TL;DR研究通过受限的计算预算缩小规模的对比性语言-图像预训练（CLIP）的性能，分析数据、架构和训练策略三个维度，证明高质量训练数据的重要性，指出较小的数据集在一定计算限制下优于较大数据集，并提供选择基于CNN架构或ViT架构进行CLIP训练的指导。同时比较四种CLIP训练策略，并表明在可用计算资源上选择训练策略的不同，最后发现只使用一半的训练数据，CLIP+数据增强可以实现与CLIP相当的性能。本研究为有效训练和部署CLIP模型提供了实用见解，使其在各种应用中更加可行和经济实惠。
发现论文，激发创造
  • 无处不在的监管：一种数据高效的对比语言图像预训练范式

    本文提出一种用于Contrastive Language-Image Pre-training (CLIP)的新的训练方法，Data efficient CLIP (DeCLIP)，通过充分利用图像-文本对之间的广泛监督来更有效地学习通用视觉特征，在使用较少数据的情况下实现60.4%的零样本top1准确率，并在转化到下游任务时优于常规CLIP模型。

    Oct, 2021

  • 民主化对比语言-图像预训练：一个数据、模型和监督的 CLIP 基准

    本文提出CLIP-benchmark，对CLIP及其变种进行评估、分析和基准测试，并发现了数据、监督和模型架构三个关键因素对性能的影响及应用更恰当的监督可以有效提高CLIP性能。

    Mar, 2022

  • CLIP训练的反比例缩放定律

    本文发现了CLIP训练的反比例缩放定律，即使用更大的图像/文本编码器，可以应用更短的图像/文本令牌序列进行训练，并通过减少计算障碍成功地训练CLIP，在 A100 八 GPU 服务器上，我们的 CLIP 模型在 ~2 天、~3 天和~4 天内实现了零样本 top-1 ImageNet 准确率分别为 63.2％、67.8％ 和 69.3％，希望能够鼓舞更多学术领域的研究。

    May, 2023

  • CLIPA-v2: 用1万美金预算训练，实现81.1%的零样本ImageNet准确率；再花4000美金可获得81.8%的准确率

    通过研究表明，CLIPA可以通过反比例尺度律以更低的计算成本实现高性能的训练，可以在finetuning阶段进一步减少计算需求，从而实现零样本Imagenet准确率的提高。

    Jun, 2023

  • 消除CLIP数据的神秘

    以数据筛选为核心的对比语言-图像预训练及元数据筛选的方法MetaCLIP，在多个标准基准测试中优于CLIP以CommonCrawl为数据源的结果，MetaCLIP在零样本ImageNet分类中达到70.8%的准确率，并在1B数据的情况下保持相同的训练预算达到72.4%的准确率。

    Sep, 2023

  • 使用科学论文数据训练CLIP模型

    通过使用科学论文的文本-图像数据，该研究探索在特定领域内加入具有更高质量的有限数量数据是否能够提高CLIP模型的整体性能。小规模实验结果显示模型性能有中等程度的提升，表明使用该研究所考虑的数据来源来训练大规模CLIP模型是一个有价值的研究方向。

    Nov, 2023

  • EVA-CLIP-18B：扩展到180亿参数的CLIP

    EVA-CLIP-18B是目前最大且最强大的开源CLIP模型，拥有180亿参数；只看到60亿个训练样本，EVA-CLIP-18B在27个广泛公认的图像分类基准中，以异乎寻常的80.7%零示例一级准确度表现出色，在模型大小扩展方面，观察到EVA-CLIP的持续性能改进；希望通过提供我们的模型权重公开，促进未来在视觉和多模态基础模型方面的研究。

    Feb, 2024

  • 深入研究对比语言图像预训练（CLIP）的鲁棒性

    该研究全面调查了Contrastive Language-Image Pre-training (CLIP)模型的安全目标，特别关注三个关键属性：对视觉因素变化的弹性，校准的不确定性估计以及检测异常输入的能力。研究揭示了CLIP模型的一些以前未知的见解，并强调了训练源设计的重要性及其对三个安全相关属性的深远影响。该全面研究有助于引导更加稳健可靠的CLIP模型的发展。

    Feb, 2024

  • 高效对比语言-图像预训练：数据质量优先于数量

    我们提出了一种理论上严谨的数据选择方法，通过保留图像和标题的交叉协方差，提高Contrastive Language-Image Pre-training模型的泛化性能，并在ConceptualCaptions3M和ConceptualCaptions12M上进行的实验证明，我们的子集相比其他基线方法，可在ImageNet和其变体上实现超过2.7倍和1.4倍的准确度，同时，在11个下游数据集中平均准确度达到其他基线方法的1.5倍。

    Mar, 2024

  • FastCLIP：有限资源加速CLIP训练的一套优化技术

    该论文探索了在有限资源下进行Contrastive Language-Image Pretraining (CLIP)训练的几个方面，介绍了FastCLIP框架及其在资源有限环境下的显著改进。

    Jul, 2024