Apr, 2024

CLIP-Embed-KD: 以嵌入向量作为教师的计算高效知识蒸馏

PDF
TL;DR通过利用嵌入作为教师，我们扩展了 CLIP 用于高效进行知识蒸馏，初步结果表明，使用嵌入进行基于 CLIP 的知识蒸馏可以在使用少至 9 倍内存和 8 倍训练时间的情况下优于完整规模的知识蒸馏。
contrastive language-image pre-trainingclipzero-shot generalization capabilitiesknowledge distillationembeddings
发现论文，激发创造
  • CLIP-KD：CLIP 模型蒸馏的实证研究

    通过使用关系、特征、梯度和对比范式等多种蒸馏策略对基于大型教师 CLIP 模型的小型 CLIP 模型进行监督，本研究在零样本 ImageNet 分类和跨模态检索基准上一致提升了学生 CLIP 模型的性能，提供了重要的 CLIP 蒸馏研究基准。

    Jul, 2023

  • ConaCLIP：探索全连接知识交互图的蒸馏，用于轻量级文本图像检索

    本文探讨了如何将知识蒸馏技术扩展到双模态模型情况，并提出了一个全连接知识交互图（Cona）技术，用于跨模态预训练蒸馏，实验证明该方法具有显著的效果。

    May, 2023

  • CLIP-TD：针对视觉语言任务的 CLIP 目标蒸馏

    本研究提出了一项名为 CLIP-TD 的方法，对视觉 - 语言任务进行有针对性的蒸馏，以适应每个实例自适应选择的标记。 经过实验证明，我们的 CLIP-TD 在视觉常识推理，视觉蕴涵推理和视觉问答的低量数据和领域迁移条件下获得了显着的增益，并在这些任务上取得了最先进的性能。

    Jan, 2022

  • 使用知识蒸馏和自训练提高 CLIP 的鲁棒性

    利用 LP-CLIP 技术通过引入一个线性探测层来提高 CLIP 的鲁棒性，该技术利用 CLIP 生成的伪标签以及自训练策略进行训练，无需注释数据，能够增强模型在真实场景中应对多种不确定性和挑战的能力，并在各种数据集上实现了 SOTA 结果

    Sep, 2023

  • RWKV-CLIP：一个稳健的视觉 - 语言表示学习器

    通过扩展数据集和模型架构，该研究进一步探索了具有对比语言 - 图像预训练（CLIP）的视觉语言任务的性能，在处理来自网站的图像 - 文本对时。通过引入多样化的描述生成框架，该研究提出了 RWKV-CLIP，其中结合了变压器的有效并行训练和循环神经网络的高效推理。通过广泛的实验和多种模型规模和预训练数据集，证明了 RWKV-CLIP 是一个强大而有效的视觉语言表征学习器，在线性探测、零样例分类和零样例图像 - 文本检索等多个下游任务中实现了最先进的性能。

    Jun, 2024

  • 民主化对比语言 - 图像预训练：一个数据、模型和监督的 CLIP 基准

    本文提出 CLIP-benchmark，对 CLIP 及其变种进行评估、分析和基准测试，并发现了数据、监督和模型架构三个关键因素对性能的影响及应用更恰当的监督可以有效提高 CLIP 性能。

    Mar, 2022

  • 简单而有效：CLIP 嵌入用于具身人工智能

    通过比较使用传统的 ImageNet 预训练模型和使用 CLIP 模型训练的模型，在实现与物理机器人和虚拟模拟任务相关的领域，我们展示并证明了在不加入神经复杂性、语义地图、辅助训练任务与深度图等的情况下使用 EmbCLIP 基线的高性能表现，从而证明了 CLIP 编码器对于情感取向环境下的物理对象导航与智能的有效性。

    Nov, 2021

  • 一句话描绘千张画面：通过语言指导提炼 CLIP 进行领域泛化

    通过引入视觉 - 语言模型进行知识蒸馏，本文提出了一种新的域泛化方法，称为 RISE (Regularized Invariance with Semantic Embeddings)，并通过在多个基准数据集上的实验证明其在域泛化方面的优越性。

    Sep, 2023

  • PromptKD: 无监督的视觉语言模型提示蒸馏

    在这篇论文中，我们介绍了一种无监督域提示蒸馏框架，通过使用未标记的领域图像进行提示驱动的模仿，旨在将更大的教师模型的知识转移给轻量级目标模型。

    Mar, 2024

  • 知识蒸馏作为高效预训练：更快的收敛、更高的数据效率和更好的可迁移性

    研究了一种名为 Knowledge Distillation as Efficient Pre-training (KDEP) 的替代预训练策略，旨在通过非参数特征维度对齐的基于特征的 KD 方法将先前已经训练好的模型的学习特征表示有效地转移到新的学生模型，实现在不需要大规模数据和较少预训练时间的情况下在三个下游任务和九个下游数据集中实现与有监督预训练的同等效果。

    Mar, 2022