通过对 CLIP 和 CLOOB 模型嵌入空间的拓扑数据分析，研究探索了多模态模型发展及其下游性能的关联，揭示了嵌入空间中的细微差异，为进一步改进和推进多模态模型研究提供了基础。

May, 2024

本文研究了零样本的人 - 物互动检测任务，采用了 CLIP 作为知识蒸馏的大规模预训练视觉 - 语言模型，在全局图像、局部区域和个体实例级别上学习人 - 物互动表示，并通过 CLIP 生成互动得分作为监督信号进行模型训练，在公共 HICO-DET 基准测试中取得了强大的性能。

Sep, 2023

利用 LP-CLIP 技术通过引入一个线性探测层来提高 CLIP 的鲁棒性，该技术利用 CLIP 生成的伪标签以及自训练策略进行训练，无需注释数据，能够增强模型在真实场景中应对多种不确定性和挑战的能力，并在各种数据集上实现了 SOTA 结果

Sep, 2023

本文提出了一种利用 CLIP 模型来提高图像去噪的对称编码器 - 解码器网络，并通过渐进特征增强策略来改善解码器的鲁棒性，实验证明该方法具有优越的泛化能力。

Mar, 2024

该文章从预训练功能提取器、视觉超出分布（OOD）检测、语言图像预训练模型、对抗性操纵的 OOD 图像和视觉异常检测等方面进行了全面实验研究，证明了使用最近邻特征相似度作为 OOD 检测得分的对比语言 - 图像预训练模型实现了最先进的无监督 OOD 性能，同时可以在无内部分布微调的情况下获得有监督的最先进 OOD 检测性能，并指出需要基于实验研究建立新的视觉异常检测基准。

Mar, 2023

通过比较使用传统的 ImageNet 预训练模型和使用 CLIP 模型训练的模型，在实现与物理机器人和虚拟模拟任务相关的领域，我们展示并证明了在不加入神经复杂性、语义地图、辅助训练任务与深度图等的情况下使用 EmbCLIP 基线的高性能表现，从而证明了 CLIP 编码器对于情感取向环境下的物理对象导航与智能的有效性。

Nov, 2021

该研究提出了一种基于 CLIP 的 HOI 检测框架，通过交互解码器、知识融合块和文本编码器等模块从 CLIP 中高效地提取先验知识并实现更准确的 HOI 检测，同时建立动词分类器和利用全局 HOI 预测进行训练无关的增强，相较当前最先进方法在 HICO-Det 数据集上提高了 4.04 mAP。

Mar, 2023

使用混合数据专家（MoDE）方法提高神经网络 CLIP 在零样本图像分类任务上的性能，通过聚类学习多个数据专家，使用元数据与聚类条件的相关性确定权重进行模型集成。

Apr, 2024

HELIP 是一种低成本的策略，它通过在原始训练数据上混合硬例子，然后使用对比对齐目标和边缘损失将经过良好训练的 CLIP 模型进行微调，从而提高其性能，而无需从头开始训练模型，HELIP 在现有模型中以即插即用的方式实现，对于零样本识别和检索基准测试，HELIP 连续提高原有模型的性能，尤其是在预先训练 CC3M 和 CC12M 的情况下，HELIP 将 SLIP 的 ImageNet 零样本准确率分别提高了 3.05 和 4.47

May, 2023

我们提出了一种无监督的对抗微调方案来获得强大的 CLIP 视觉编码器，从而在依赖于 CLIP 的所有视觉下游任务（VLM，零样本分类）中获得强大的鲁棒性。

Feb, 2024