Feb, 2024

EVA-CLIP-18B：扩展到 180 亿参数的 CLIP

PDF
TL;DREVA-CLIP-18B 是目前最大且最强大的开源 CLIP 模型，拥有 180 亿参数；只看到 60 亿个训练样本，EVA-CLIP-18B 在 27 个广泛公认的图像分类基准中，以异乎寻常的 80.7% 零示例一级准确度表现出色，在模型大小扩展方面，观察到 EVA-CLIP 的持续性能改进；希望通过提供我们的模型权重公开，促进未来在视觉和多模态基础模型方面的研究。
contrastive language-image pretrainingeva-clip-18bzero-shot top-1 accuracyimage classification benchmarksvisual model scaling
发现论文，激发创造
  • EVA-02：新世纪福音战士的视觉展现

    通过使用 EVA-02，一款基于 Transformer 的视觉表示预训练算法，研究人员证明其在各种代表性视觉任务中具有卓越的性能，并且使用更少的参数和计算预算。

    Mar, 2023

  • CLIPA-v2: 用 1 万美金预算训练，实现 81.1% 的零样本 ImageNet 准确率；再花 4000 美金可获得 81.8% 的准确率

    通过研究表明，CLIPA 可以通过反比例尺度律以更低的计算成本实现高性能的训练，可以在 finetuning 阶段进一步减少计算需求，从而实现零样本 Imagenet 准确率的提高。

    Jun, 2023

  • 中文 CLIP：中文对比视觉 - 语言预训练

    该研究使用中文数据构建巨大的图像文本配对数据集，并使用其预训练中文 CLIP 模型，该模型能够在零 - shot 学习和微调设置下，在 MUGE、Flickr30K-CN 和 COCO-CN 上实现最新技术水平，并能够在 ELEVATER 基准测试中实现竞争性能。

    Nov, 2022

  • 消除 CLIP 数据的神秘

    以数据筛选为核心的对比语言 - 图像预训练及元数据筛选的方法 MetaCLIP，在多个标准基准测试中优于 CLIP 以 CommonCrawl 为数据源的结果，MetaCLIP 在零样本 ImageNet 分类中达到 70.8% 的准确率，并在 1B 数据的情况下保持相同的训练预算达到 72.4% 的准确率。

    Sep, 2023

  • EVA: 探索规模下遮蔽式视觉表征学习的极限

    我们在这篇论文中提出了 EVA，这是一种基于视觉的基础模型，能够大规模地探索视觉表征的极限，并且只使用公开可用的数据。通过解决预先设定的任务，我们可以有效地将 EVA 扩展到 10 亿个参数，并在诸如图像识别、视频动作识别、目标检测、实例分割和语义分割等广泛的代表性视觉下游任务上创造新的记录，而无需进行大量的监督式训练。

    Nov, 2022

  • 可再现的对比语言 - 图像学习的比例定律

    本研究探索了对比语言 - 图像预训练（CLIP）的缩放定律，使用了公共数据集和开放源代码来研究缩放规律，并发现训练分布在缩放规律中起关键作用。通过在多个下游任务中评估最大规模的公共 CLIP 模型，我们发现在多个下游任务中，有效训练集大小、模型大小和计算量与性能之间具有幂律缩放关系。

    Dec, 2022

  • 缩放 (下降) CLIP: 数据、架构和训练策略的全面分析

    研究通过受限的计算预算缩小规模的对比性语言 - 图像预训练（CLIP）的性能，分析数据、架构和训练策略三个维度，证明高质量训练数据的重要性，指出较小的数据集在一定计算限制下优于较大数据集，并提供选择基于 CNN 架构或 ViT 架构进行 CLIP 训练的指导。同时比较四种 CLIP 训练策略，并表明在可用计算资源上选择训练策略的不同，最后发现只使用一半的训练数据，CLIP + 数据增强可以实现与 CLIP 相当的性能。本研究为有效训练和部署 CLIP 模型提供了实用见解，使其在各种应用中更加可行和经济实惠。

    Apr, 2024

  • 高效对比语言 - 图像预训练：数据质量优先于数量

    我们提出了一种理论上严谨的数据选择方法，通过保留图像和标题的交叉协方差，提高 Contrastive Language-Image Pre-training 模型的泛化性能，并在 ConceptualCaptions3M 和 ConceptualCaptions12M 上进行的实验证明，我们的子集相比其他基线方法，可在 ImageNet 和其变体上实现超过 2.7 倍和 1.4 倍的准确度，同时，在 11 个下游数据集中平均准确度达到其他基线方法的 1.5 倍。

    Mar, 2024

  • CLIP 训练的反比例缩放定律

    本文发现了 CLIP 训练的反比例缩放定律，即使用更大的图像 / 文本编码器，可以应用更短的图像 / 文本令牌序列进行训练，并通过减少计算障碍成功地训练 CLIP，在 A100 八 GPU 服务器上，我们的 CLIP 模型在～2 天、~3 天和～4 天内实现了零样本 top-1 ImageNet 准确率分别为 63.2％、67.8％ 和 69.3％，希望能够鼓舞更多学术领域的研究。

    May, 2023

  • 无处不在的监管：一种数据高效的对比语言图像预训练范式

    本文提出一种用于 Contrastive Language-Image Pre-training (CLIP) 的新的训练方法，Data efficient CLIP (DeCLIP)，通过充分利用图像 - 文本对之间的广泛监督来更有效地学习通用视觉特征，在使用较少数据的情况下实现 60.4% 的零样本 top1 准确率，并在转化到下游任务时优于常规 CLIP 模型。

    Oct, 2021