ICCVJun, 2024

CLIP 解码器：使用多模态 CLIP 对齐表示进行零样本多标签分类

PDF
TL;DR多标签分类的零样本学习方法，通过引入 CLIP-Decoder 的多模态表示学习，在零样本多标签分类任务中表现出前沿结果，相较于现有方法在性能上提升了 3.9％，在广义零样本多标签分类任务中提升了近 2.3％。
multi-label classificationzero-shot learningclip-decoderrepresentation learningcombined loss
发现论文，激发创造
  • 理解 CLIP 中的可迁移表征学习和零射击迁移

    通过对 CLIP 的理论研究，我们证明了多模态学习的可转移表示学习，并分析了其在零样本学习和下游任务中的性能。在此基础上，我们提出了一种新的 CLIP 类型方法，在基准数据集上实现了比 CLIP 和其他最先进方法更好的性能。

    Oct, 2023

  • DeCap：通过纯文本训练对 CLIP 潜变量进行解码，实现零样本描述

    该论文提出了一种名为 DeCap 的简单框架来解决零 - shot 图片描述问题，通过引入轻量级的视觉感知语言解码器来满足对数据和计算效率的要求，并提出了一个训练 - free 机制来减少模态间差异。实验证明，DeCap 在典型的图像说明基准测试中表现优异。

    Mar, 2023

  • 多样化和个性化的图像生成用于零 - shot 多标签分类

    通过生成合成数据，用于训练未见标签的分类器，本文介绍了一种用于零样本多标签分类的创新解决方案，包括使用大型语言模型生成多样的提示，使用 CLIP 模型进行图像筛选，以及使用特征融合模块来提高目标任务的视觉特征。实验结果验证了该方法的有效性，并显示出与现有方法相比的显著改进。

    Apr, 2024

  • CLIP 的多模态多标签分类

    设计一个学习算法来处理图像和文本两个数据源，通过使用对比语言图像预训练作为特征提取器并探索不同的分类头、融合方法和损失函数来学习全面的语义特征表示，最终在公共 Kaggle 竞赛排行榜上获得超过 90% 的 F_1 分数。本文通过实验结果提供了新的训练方法和定量分析的详细描述。

    Jun, 2024

  • Cascade-CLIP: 零样本语义分割的级联视觉 - 语言嵌入对齐

    基于预训练视觉 - 语言模型的 Cascade-CLIP 方法，在零样本语义分割任务中通过引入一系列独立解码器，以级联方式将多层次的视觉特征与文本嵌入对齐，取得了优秀的性能。

    Jun, 2024

  • 多模态 CLIP 推理用于元 - 少样本图像分类

    结合 CLIP 的文本和图像编码器的多模态方法，在广泛采用的基准测试上超越了最先进的元少样学习模型，而无需额外训练。

    Mar, 2024

  • ZegCLIP：面向零样本语义分割的 CLIP 自适应

    本文提出了一种基于 CLIP 的零样本语义分割方法 ZegCLIP，将其从图像级别扩展到像素级别，通过三种简单而有效的设计处理过拟合问题，具有更好的泛化能力和速度优势。

    Dec, 2022

  • TagCLIP：一种增强无需训练的 CLIP 开放词汇多标签分类的本地到全局框架

    通过局部到全局的框架，我们提出了一种扩展了 CLIP 的方法来提高多标签分类性能，并通过生成的标签在弱监督语义分割任务中取得了显著的性能提升。

    Dec, 2023

  • Zoom-shot: 快速高效的无监督零样本迁移 CLIP 到视觉编码器的多模态损失

    通过 Zoom-shot 方法，利用多模态损失函数将 CLIP 潜空间与预训练视觉编码器的潜空间进行线性映射，从而在粗粒度和细粒度分类数据集上提升了现有的零样本能力，实现了下一代 VLMs 的开发。

    Jan, 2024

  • 利用基于 CLIP 的多模态方法进行艺术品分类与检索

    在艺术作品领域中，我们通过对艺术品图像进行多模式图像预训练，并使用最新的 CLIP 模型，在 NoisyArt 数据集上进行了详尽的实验，取得了令人印象深刻的（零样本）分类效果和良好的艺术品之间及描述与艺术品之间的效果。

    Sep, 2023