Jul, 2024

ClearCLIP: 分解CLIP表示以进行稠密视觉-语言推理

HTML
PDF
TL;DR通过重新研究CLIP的架构，我们发现残差连接是降低分割质量的主要噪声源。因此，我们提出了ClearCLIP，这是一种新颖的方法，通过对CLIP的表示进行分解来增强开放词汇的语义分割。ClearCLIP消除了残差连接，实施了自我关注，并且舍弃了前馈网络。在多个基准测试中，ClearCLIP始终生成更清晰、更准确的分割地图，并且在性能上优于现有方法。
发现论文，激发创造
  • 从CLIP中提取无标签稠密特征

    本文旨在探讨Contrastive Language-Image Pre-training (CLIP)在像素级密集预测，特别是语义分割方面的潜力，并以MaskCLIP为例证明了它在无需注释和微调的情况下可以产生令人满意的分割结果。通过添加伪标签和自训练，MaskCLIP +甚至超过了SOTA的泛化零样本语义分割方法。

    Dec, 2021

  • 使用适应掩码的CLIP进行开放词汇语义分割

    该论文提出了一种针对开放词汇的语义分割方法，即通过预训练模型再特定训练样本上的微调和修正，来解决预训练模型在遮蔽图像上的效果问题，从而提高模型的泛化能力，并通过遮蔽抽取方法有效地提高了语义分割的效果。

    Oct, 2022

  • HiCLIP: 基于分层感知注意力的对比语言-图像预训练

    本文提出了用层级感知的注意力机制改进CLIP模型，以更好的捕捉图像和文本的高层语义，并在视觉识别和与视觉相关的下游任务中获得良好的结果。

    Mar, 2023

  • CLIP手术技术用于开放式任务的解释性增强

    CLIP（Contrastive Language-Image Pre-training）是一种强大的多模态视觉模型，该论文提出了一种 CLIP Surgery 方法，可以在不降低性能的情况下提升 CLIP 的解释性和性能，并在开放词汇任务中获得了显着的提高，如 NUS-Wide 多标签识别上得到了 4.41% 的平均精度提升，Cityscapes 开放词汇语义分割任务上的 mIoU 也超过了现有方法的 8.74%。

    Apr, 2023

  • TagCLIP：提高开放式语料库语义分割的区分能力

    本研究针对 CLIP 在像素级开放词汇学习任务中面临的输入像素误识别问题，提出了一种名为 TagCLIP 的改进方法，通过引入一种名为 trusty token 的可信标记，成功提高了现有模型的泛化容量。针对 PASCAL VOC 2012 和 COCO-Stuff 164K 两大数据集，TagCLIP 对于未知分类的 IOU 值均有显著提升。

    Apr, 2023

  • 消除CLIP数据的神秘

    以数据筛选为核心的对比语言-图像预训练及元数据筛选的方法MetaCLIP，在多个标准基准测试中优于CLIP以CommonCrawl为数据源的结果，MetaCLIP在零样本ImageNet分类中达到70.8%的准确率，并在1B数据的情况下保持相同的训练预算达到72.4%的准确率。

    Sep, 2023

  • SCLIP：为密集视觉语言推理重新思考自注意力

    通过引入新的自相关自注意力（CSA）机制，增强了CLIP在语义分割方面的潜力，并且在零样本mIoU方面明显优于现有的SoTA结果和原始的CLIP。

    Dec, 2023

  • 注重邻居：无需训练的开放词汇语义分割

    借鉴了CLIP模型，并通过自适应CLIP的可视化transformer来强化感知，提出了一种新的方法NACLIP用于训练自由的open-vocabulary semantic segmentation(OVSS)，在8个流行的语义分割评估中获得了最先进的性能。

    Apr, 2024

  • 探索 CLIP 在无需培训的开放词汇语义分割中的潜力

    通过研究CLIP的[CLS]标记对补丁特征相关性的影响，我们提出了一种称为CLIPtrase的训练免费的语义分割策略，通过重新校准补丁之间的自相关性来提高局部特征的认知能力。该方法在分割准确性和对象间语义一致性的保持方面表现出显著的改进，超过了现有的最先进的无需训练的方法。

    Jul, 2024

  • ProxyCLIP: 代理注意力提升CLIP在开放词汇分割中的表现

    本研究解决了开放词汇语义分割中模型在视觉表示与开放词汇语义标签整合的困难。提出的ProxyCLIP框架通过利用视觉基础模型的空间特征，将其作为代理注意力增强CLIP，从而实现空间精度与语义丰富性的有效结合。研究表明，ProxyCLIP显著提高了多项基准测试的平均均值交并比，从40.3提升至44.4，展现了其在开放词汇分割任务中的卓越效果。

    Aug, 2024