Aug, 2022

一种双模态方法用于（零样本）多标签分类

PDF
TL;DR该论文提出了一个新算法 - Aligned Dual moDality ClaSsifier (ADDS)，其中包括一个双模式解码器 (DM-decoder) 和视觉和文本特征之间的对齐，用于多标签分类任务，并设计了一种称为金字塔前馈 (Pyramid-Forwarding) 的方法来增强输入的性能，通过在多个基准数据集，如 MS-COCO 和 NUS-WIDE 上进行了广泛的实验，证明了该方法显著优于以前的方法，并为传统的多标签分类，零样本多标签分类，以及单到多标签分类提供了最先进的性能。
aligned dual modality classifiermulti-label classificationpyramid-forwardingvisual-textual alignmentdm-decoder
发现论文，激发创造
  • CLIP 解码器：使用多模态 CLIP 对齐表示进行零样本多标签分类

    多标签分类的零样本学习方法，通过引入 CLIP-Decoder 的多模态表示学习，在零样本多标签分类任务中表现出前沿结果，相较于现有方法在性能上提升了 3.9％，在广义零样本多标签分类任务中提升了近 2.3％。

    Jun, 2024

  • 多样化和个性化的图像生成用于零 - shot 多标签分类

    通过生成合成数据，用于训练未见标签的分类器，本文介绍了一种用于零样本多标签分类的创新解决方案，包括使用大型语言模型生成多样的提示，使用 CLIP 模型进行图像筛选，以及使用特征融合模块来提高目标任务的视觉特征。实验结果验证了该方法的有效性，并显示出与现有方法相比的显著改进。

    Apr, 2024

  • 基于置信度加权的多方法集成在零样本图像分类中的应用

    本文介绍了一种用于零样本学习（ZSL）的新型框架，该框架利用多模型和多对齐集成方法识别在训练过程中未见过的新类别，通过利用 ChatGPT 的广泛知识和 DALL-E 的强大图像生成能力创建能够准确描述未见类别和分类边界的参考图像，改善信息瓶颈问题，整合自 CLIP 的文本 - 图像对齐和图像 - 图像对齐结果以及来自 DINO 的图像 - 图像对齐结果，从而实现更准确的预测，并引入基于置信水平的自适应加权机制来聚合来自不同预测方法的结果。在多个数据集上的实验结果，包括 CIFAR-10、CIFAR-100 和 TinyImageNet，表明我们的模型可以显著提高分类准确度，相比于单模型方法，在所有测试数据集上实现了高于 96% 的 AUROC 分数，特别在 CIFAR-10 数据集上超过 99%。

    May, 2024

  • 双重多标签预测的自适应目标检测

    本文提出了一种新的端到端无监督深度领域适应模型，利用多标签对象识别作为双重辅助任务实现自适应对象检测，使用多标签预测揭示每个图像中的对象类别信息，然后使用预测结果执行条件对抗全局特征对齐，从而可以处理图像特征的多模态结构以在全局特征级别上连接域分歧，同时保留特征的可辨析性。此外，还引入了一种预测一致性正则化机制来辅助目标检测，该机制使用多标签预测结果作为辅助正则化信息，以确保对象识别任务和对象检测任务之间一致的对象类别发现。在几个基准数据集上进行实验，结果表明，该模型优于现有方法。

    Mar, 2020

  • DualCoOp: 有限标注条件下的快速多标签识别自适应

    本论文提出了一种名为 DualCoOp 的统一框架，用于解决多标签识别的低标记问题，通过利用文本和视觉特征之间的强对齐，通过将类别名作为部分的语言输入来编码正负上下文，从而适应具有有限注释和未知类别的多标签识别任务，在标准多标签识别基准测试中，超过了现有方法的优点。

    Jun, 2022

  • DualCoOp++：有限标注下快速、高效的多标签识别适应性

    在低标签情况下，利用预训练的图文特征对部分类别和零样本多标签识别进行了高效准确的建模和优化，通过引入证据引导的双重上下文优化 (DualCoOp++) 框架，分别对目标类别的证据、正例和反例进行编码，提高了在低样本情况下目标类别的区分度和相关图像的挖掘能力，实现了比现有方法更优异的性能。

    Aug, 2023

  • Query2Label：一种简单的 Transformer 多标签分类方法

    本文提出了一种简单而有效的方法来解决多标签分类问题，该方法利用 Transformer 解码器查询类标签的存在，并使用视觉骨干计算的特征图来进行后续的二进制分类，相比于以前的工作，该方法更为简单有效，对于五个多标签分类数据集，包括 MS-COCO，PASCAL VOC，NUS-WIDE 和 Visual Genome，始终优于以前的所有工作，我们在 MS-COCO 上建立了 91.3％的 mAP。

    Jul, 2021

  • 区域判别式多标记零样本学习

    本文提出了一种基于区域的辨别性保持的多标签零样本分类的替代方法，使用 BiAM 模块有效结合了区域和场景上下文信息，并通过映射区域级特征到类语义并只进行空间汇集来获得图像级别的预测。

    Aug, 2021

  • 通过多模态知识迁移的开放词汇多标签分类

    本研究提出一种新的基于开放词汇的跨模态知识迁移框架 (MKT)，利用视觉和语言预训练模型的多模态知识，采用知识蒸馏技术和双流模块来实现多标签分类和多目标识别，并在公开基准数据集上显著优于现有方法。

    Jul, 2022

  • 提高开放词汇检测的特征对齐的三种方法

    提出三种方法来解决零样本开放词汇检测中的视觉和文本特征对齐问题，其中包括改进的特征金字塔网络和检测头，自我训练方法以及使用更大的图像文本对语料库来改善检测性能，并在 LVIS 基准测试上获得了新的最优性能。

    Mar, 2023