CVPRMar, 2024

MoPE-CLIP: 结构剪枝用于高效的视觉语言模型的基于模块的剪枝错误度量

PDF
TL;DR本文提出了一个新的压缩框架，使用 Module-wise Pruning Error（MoPE）度量 CLIP 模块的重要性，并将其应用于预训练和任务特定的微调，通过从宽度到深度连续修剪实现高竞争力的任务特定模型，实验证明 MoPE-CLIP 优于现有的视觉 - 语言预训练模型压缩方法。
发现论文，激发创造
  • MaPLe: 多模态提示学习

    本研究提出了多模态提示学习 (MaPLe) 的方法，旨在通过不同的早期阶段分别学习视觉和语言分支的独立提示，以逐步建模分阶段的特征关系，并促进视觉 - 语言提示之间的强耦合，以改善 CLIP 的下游任务结果。结果表明，该方法具有良好的性能和广泛的应用前景。

    Oct, 2022

  • LightCLIP：轻量级视觉语言模型的多层交互学习

    本文介绍了一种用于训练轻量级 CLIP 模型的多级交互范式，包括改进的全局实例级对齐目标、基于放松二分匹配的令牌级对齐目标以及使用遮蔽语言建模的额外目标。实验结果表明，该方法在多个下游任务中实现了更高的性能。

    Dec, 2023

  • SIEVE: 利用图像字幕模型进行多模态数据集修剪

    使用图像 - 文本模型预训练的数据集来对模型进行裁剪是一种成功的方法，但它存在一些限制。为解决这些问题，我们提出了一种名为 SIEVE 的方法，它使用由经过预训练的图像 - 文本模型生成的合成标题来评估图像 - 文本对的一致性，并在大规模和中等规模的数据集上取得了最先进的性能。

    Oct, 2023

  • ECoFLaP: 高效细粒度层次裁剪用于视觉 - 语言模型

    通过 Efficient Coarse-to-Fine Layer-Wise Pruning 方法，LVLMs 的大规模视觉 - 语言模型能够以两阶段粗细权重修剪的方式进行模型压缩，从而在高稀疏度条件下取得显著性能改进。

    Oct, 2023

  • 并非所有特征都重要：自适应先验精化增强少样本 CLIP

    本文提出了一种自适应先验精细化方法 APE，通过先验精细化模块分析下游数据中的类间差异，将领域特定知识与 CLIP 提取的缓存模型分离，进而在轻量化的类别残差模块的支持下，探究测试图像、先前缓存模型和文本表示之间的三元亲和性，并通过 APE 和 APE-T 这两种模型实现了在 11 个基准数据集上超过第二名 +1.59% 和 +1.99% 的最优性能，且它们使用的学习参数比第二名少 30 倍。

    Apr, 2023

  • CLIP 也是一位优秀的讲师：归纳式零样本语义分割的新学习框架

    提出了一种名为 CLIPTeacher 的新学习框架，用于各种基于像素分类的分割模型，不引入任何显式的掩码建议者或更改 CLIP 的结构，并利用已知区域和忽略区域来取得较大的性能提升。

    Oct, 2023

  • M2-CLIP: 视频动作识别的多模态多任务自适应框架

    该研究介绍了一种名为 \name 的新型多模态、多任务 CLIP 自适应框架，通过引入多模态适配器和多任务解码器，实现强大的监督学习性能和在零样本场景中的强大泛化能力。

    Jan, 2024

  • 基于 CLIP 的从 PEFT 梯度的图像重建

    通过理论分析，本文提出了一种基于 CLIP 模型的多模态分布式机器学习架构下的重构攻击方法 Multm-In-Parvo (MIP)，该方法可以根据软提示或适配器的梯度有效地重构 CLIP 模型的训练图像。

    Feb, 2024

  • MoDE: 通过聚类实现 CLIP 数据专家

    使用混合数据专家（MoDE）方法提高神经网络 CLIP 在零样本图像分类任务上的性能，通过聚类学习多个数据专家，使用元数据与聚类条件的相关性确定权重进行模型集成。

    Apr, 2024

  • CLIP 与优质字幕：强大的视觉任务预训练

    简要概述：通过改进图像 - 文本数据集中标题的质量，有助于改善 CLIP 模型的视觉表示质量，并在密集预测视觉任务中取得显著的性能提升。

    May, 2024