Nov, 2023

选择明智与深度学习：通过 CLIP 进行选择性跨模态蒸馏以实现领域泛化

PDF
TL;DR介绍一种名为 SCMD 的新方法，利用大型视觉 - 语言模型来训练一个更高效的模型，确保其在未知领域具有稳健的泛化能力，通过独特的选择框架和跨模态模块，提供了超越现有领域泛化方法的最新性能，并通过理论分析深入洞察了选择策略的有效性和潜力。
domain generalizationselective cross-modality distillationlarge vision-language modelsrobust generalization capabilitiesstate-of-the-art performance
发现论文，激发创造
  • 一句话描绘千张画面：通过语言指导提炼 CLIP 进行领域泛化

    通过引入视觉 - 语言模型进行知识蒸馏，本文提出了一种新的域泛化方法，称为 RISE (Regularized Invariance with Semantic Embeddings)，并通过在多个基准数据集上的实验证明其在域泛化方面的优越性。

    Sep, 2023

  • CLIP-KD：CLIP 模型蒸馏的实证研究

    通过使用关系、特征、梯度和对比范式等多种蒸馏策略对基于大型教师 CLIP 模型的小型 CLIP 模型进行监督，本研究在零样本 ImageNet 分类和跨模态检索基准上一致提升了学生 CLIP 模型的性能，提供了重要的 CLIP 蒸馏研究基准。

    Jul, 2023

  • 稳健的跨模态表示学习与渐进式自蒸馏

    通过交叉模态对比学习以及软图像 - 文本对齐等方法，改进了 CLIP 模型，在处理带有噪声的数据集时能更加高效地学习出具有鲁棒性的表示。经过对 14 个基准数据集的广泛评估，该方法在多种设置下表现均优于 CLIP，并且没有增加计算成本。此外，该方法还在自然分布偏移的鲁棒性测试中表现更好。

    Apr, 2022

  • 从视觉语言模型中提炼，以改善视觉任务中的 OOD 泛化能力

    Vision-Language to Vision-Align, Distill, Predict (VL2V-ADiP) is a proposed approach that aligns vision and language modalities to distill pre-trained features and superior generalization for state-of-the-art results in Domain Generalization using Vision-Language Models like CLIP.

    Oct, 2023

  • CLIP-GCD: 简单的语言指导通用类别发现

    本文通过引入多模态模型 (CLIP)，提出了一种基于文本检索的机制，通过挖掘带标签和无标签文本库中的文本描述来实现联合图像 + 文本半监督聚类，该方法在多个数据集上得到了最优结果。

    May, 2023

  • CLIP-TD：针对视觉语言任务的 CLIP 目标蒸馏

    本研究提出了一项名为 CLIP-TD 的方法，对视觉 - 语言任务进行有针对性的蒸馏，以适应每个实例自适应选择的标记。 经过实验证明，我们的 CLIP-TD 在视觉常识推理，视觉蕴涵推理和视觉问答的低量数据和领域迁移条件下获得了显着的增益，并在这些任务上取得了最先进的性能。

    Jan, 2022

  • 跨模态对比学习蒸馏理论研究

    跨模态蒸馏是一个重要主题，用于包含有限知识的数据模态，如深度图和高质量素描。我们提出了一个基于对比学习的跨模态对比蒸馏（CMCD）的通用框架，该框架利用正负对应关系更好地蒸馏可泛化的特征，并在实验结果和收敛分析中验证了源模态和目标模态之间的距离对目标模态下游任务的测试误差有着显著影响。

    May, 2024

  • 探索 CLIP 在糖尿病视网膜病变领域泛化中的迁移学习能力

    糖尿病视网膜病变（DR）是视力障碍的主要原因之一，需要早期检测和治疗。本文研究了糖尿病视网膜病变（DR）分类问题中跨域泛化的挑战，通过使用 CLIP 模型在不同领域和数据分布下进行转化学习，引入了一种名为 CoOpLVT 的多模态微调策略来增强上下文优化，实验结果表明该方法相较于基线模型提高了 1.8% 的 F1 分数，为 DR 分类的有效跨域泛化提供了希望。

    Aug, 2023

  • ConaCLIP：探索全连接知识交互图的蒸馏，用于轻量级文本图像检索

    本文探讨了如何将知识蒸馏技术扩展到双模态模型情况，并提出了一个全连接知识交互图（Cona）技术，用于跨模态预训练蒸馏，实验证明该方法具有显著的效果。

    May, 2023

  • 深度交互的跨模态提示学习

    本文提出了一种基于 CLIP 的深度交互式跨模态提示学习（DCP）方法，可实现视觉和语言之间的灵活相互作用，通过良好连接的多头注意力模块逐步强且稳定地交换各自的表示，并在 11 个图像分类数据集上进行综合少样本学习实验和域自适应能力分析，实验结果显示 DCP 表现出了超凡的少样本泛化性能和具有吸引力的域适应能力。

    May, 2023