May, 2024

CICA：零样本文档图像分类中的内容注入对齐

PDF
TL;DR我们在零样本学习（Zero-Shot Learning，ZSL）和广义零样本学习（Generalized Zero-Shot Learning，GZSL）的环境中提供了对文档图像分类进行全面分析的方法和评价，同时提出了适用于 RVL-CDIP 数据集的零样本划分和一个名为 CICA 的框架，该框架通过引入一种全新的 ' 内容模块 '，可以提升 CLIP 的零样本学习能力，我们的模块只增加了 CLIP 的 3.3% 参数，并将其 ZSL 的 Top-1 准确率提高了 6.7%，GZSL 的调和平均值提高了 24%，这项工作为零样本文档分类的未来研究指明了方向。
发现论文，激发创造
  • 经过图像处理的零样本分类器注入

    本文提出了一种名为 ICIS 的图像无关分类器注入方法，它可以在不依赖图像数据的情况下为预训练模型赋予零样本分类能力，并通过在预训练分类模型之上应用 ICIS 来产生强大的零样本分类器权重。

    Aug, 2023

  • 语义组合提升视觉 - 语言对比学习

    通过引入语义组合样本，我们通过一个简单的技术（称为 CLIP-C），显著改善了零样本图像分类和跨模态检索的能力，而不需要额外的计算开销或模型参数增加。

    Jul, 2024

  • Cascade-CLIP: 零样本语义分割的级联视觉 - 语言嵌入对齐

    基于预训练视觉 - 语言模型的 Cascade-CLIP 方法，在零样本语义分割任务中通过引入一系列独立解码器，以级联方式将多层次的视觉特征与文本嵌入对齐，取得了优秀的性能。

    Jun, 2024

  • 基于置信度加权的多方法集成在零样本图像分类中的应用

    本文介绍了一种用于零样本学习（ZSL）的新型框架，该框架利用多模型和多对齐集成方法识别在训练过程中未见过的新类别，通过利用 ChatGPT 的广泛知识和 DALL-E 的强大图像生成能力创建能够准确描述未见类别和分类边界的参考图像，改善信息瓶颈问题，整合自 CLIP 的文本 - 图像对齐和图像 - 图像对齐结果以及来自 DINO 的图像 - 图像对齐结果，从而实现更准确的预测，并引入基于置信水平的自适应加权机制来聚合来自不同预测方法的结果。在多个数据集上的实验结果，包括 CIFAR-10、CIFAR-100 和 TinyImageNet，表明我们的模型可以显著提高分类准确度，相比于单模型方法，在所有测试数据集上实现了高于 96% 的 AUROC 分数，特别在 CIFAR-10 数据集上超过 99%。

    May, 2024

  • 通过仅文本训练挖掘细粒度的图像 - 文本对齐用于零样本字幕生成

    通过减少视觉和文本之间的模态差异，我们提出了一种零摄影机图片字幕框架，通过仅使用文本进行训练和引入局部图像区域特征聚合、噪声注入和 CLIP 排序策略来提高字幕性能，并证明其在 MSCOCO、Flickr30k 和 VQAV2 等数据集上具有显著的性能提升。

    Jan, 2024

  • SCLIP：为密集视觉语言推理重新思考自注意力

    通过引入新的自相关自注意力（CSA）机制，增强了 CLIP 在语义分割方面的潜力，并且在零样本 mIoU 方面明显优于现有的 SoTA 结果和原始的 CLIP。

    Dec, 2023

  • CALIP: 零参数关注下的零样本增强 CLIP

    本文提出了一种名为 CALIP 的方法，通过一个无需参数的关注模块，在不增加额外的训练开销和数据需求的情况下提高 Contrastive Language-Image Pre-training 的零样本性能。

    Sep, 2022

  • ConZIC: 基于采样平滑的可控零样本图像字幕生成

    本研究提出了一种名为 ConZIC 的可控零样本图像字幕生成框架，其中核心是一种称为 GibbsBERT 的采样式非自回归语言模型，与 ZeroCap 相比，ConZIC 在保证准确性的情况下，生成速度可达 5 倍以上，多样性指标高出 1.5 倍。

    Mar, 2023

  • 通过引导裁剪实现零样本视觉分类

    我们提出了 GC-CLIP，通过在预处理步骤中使用现成的零样本目标检测模型，增加零样本分类器对感兴趣目标的关注，并减少无关图像区域的影响，从而提高了零样本分类结果。

    Sep, 2023

  • ComCLIP: 无须训练的图文组合匹配

    本文通过提出一种新颖的训练免费的组合 CLIP 模型 (ComCLIP) 来解决复合图像和文本匹配的问题，通过将输入图像分解为主题、对象和动作子图像，并组合 CLIP 的视觉编码器和文本编码器来在组成性文本嵌入和子图像嵌入上执行动态匹配，从而实现了对差异性语义的建模，提高了 CLIP 的零样本推理能力。

    Nov, 2022