本文提出一种用于Contrastive Language-Image Pre-training (CLIP)的新的训练方法，Data efficient CLIP (DeCLIP)，通过充分利用图像-文本对之间的广泛监督来更有效地学习通用视觉特征，在使用较少数据的情况下实现60.4%的零样本top1准确率，并在转化到下游任务时优于常规CLIP模型。

Oct, 2021

本文提出CLIP-benchmark，对CLIP及其变种进行评估、分析和基准测试，并发现了数据、监督和模型架构三个关键因素对性能的影响及应用更恰当的监督可以有效提高CLIP性能。

Mar, 2022

本文介绍了一种基于大规模预训练模型CLIP的零-shot基线模型ReCLIP，包含提取物体区域和处理空间关系两个组成部分，实验结果表明相较于其他基线模型， ReCLIP在指代理解任务上对真实图像的效果提升了8%。

Apr, 2022

HELIP是一种低成本的策略，它通过在原始训练数据上混合硬例子，然后使用对比对齐目标和边缘损失将经过良好训练的CLIP模型进行微调，从而提高其性能，而无需从头开始训练模型，HELIP在现有模型中以即插即用的方式实现，对于零样本识别和检索基准测试，HELIP连续提高原有模型的性能，尤其是在预先训练CC3M和CC12M的情况下，HELIP将SLIP的ImageNet零样本准确率分别提高了3.05和4.47

May, 2023

本文提出了一种名为LaCLIP的新方法，通过语言重写增强CLIP的训练，具有语料丰富度高的特点，不需要额外的计算或内存负载，实现较高的图像-文本转移性能。

May, 2023

通过提出ReCLIP方法，第一个无需源数据或目标标记数据的视觉-语言模型领域自适应方法，该方法使用伪标签进行交叉模态自训练以减小领域间差异和错位对模型性能的影响，在22个图像分类基准测试中将CLIP的平均错误率从30.17%降低到25.06%。

Aug, 2023

以数据筛选为核心的对比语言-图像预训练及元数据筛选的方法MetaCLIP，在多个标准基准测试中优于CLIP以CommonCrawl为数据源的结果，MetaCLIP在零样本ImageNet分类中达到70.8%的准确率，并在1B数据的情况下保持相同的训练预算达到72.4%的准确率。

Sep, 2023

通过引入新的自相关自注意力（CSA）机制，增强了CLIP在语义分割方面的潜力，并且在零样本mIoU方面明显优于现有的SoTA结果和原始的CLIP。

Dec, 2023

我们提出了一种理论上严谨的数据选择方法，通过保留图像和标题的交叉协方差，提高Contrastive Language-Image Pre-training模型的泛化性能，并在ConceptualCaptions3M和ConceptualCaptions12M上进行的实验证明，我们的子集相比其他基线方法，可在ImageNet和其变体上实现超过2.7倍和1.4倍的准确度，同时，在11个下游数据集中平均准确度达到其他基线方法的1.5倍。

Mar, 2024

本研究针对当前图像-文本数据集中缺乏组合多样性的问题，提出了一种新的对比预训练策略TripletCLIP。该方法通过在上下文学习中生成“硬”负向描述以及合成相应的负向图像，显著提高了CLIP的组合推理能力，在SugarCrepe基准测试中实现了超过9%的绝对提升，并改善了零样本图像分类和图像检索性能。

Nov, 2024