Jun, 2022

DualCoOp: 有限标注条件下的快速多标签识别自适应

PDF
TL;DR本论文提出了一种名为 DualCoOp 的统一框架，用于解决多标签识别的低标记问题，通过利用文本和视觉特征之间的强对齐，通过将类别名作为部分的语言输入来编码正负上下文，从而适应具有有限注释和未知类别的多标签识别任务，在标准多标签识别基准测试中，超过了现有方法的优点。
multi-label recognitiondual context optimizationzero-shot mlrimage-text alignmentlimited annotations
发现论文，激发创造
  • DualCoOp++：有限标注下快速、高效的多标签识别适应性

    在低标签情况下，利用预训练的图文特征对部分类别和零样本多标签识别进行了高效准确的建模和优化，通过引入证据引导的双重上下文优化 (DualCoOp++) 框架，分别对目标类别的证据、正例和反例进行编码，提高了在低样本情况下目标类别的区分度和相关图像的挖掘能力，实现了比现有方法更优异的性能。

    Aug, 2023

  • 视觉语言模型的提示学习

    本文介绍了如何使用 CoOp, 一种基于学习来应用 CLIP vision-language 模型用于下游图像识别任务的简单方法，以解决使用自然语言描述类别来进行分类训练领域专业性强、耗时的问题，并证明其比手工制作的提示更好。

    Sep, 2021

  • LoCoOp: 基于 Prompt 学习的少样本场外检测

    我们介绍了一种名为 LoCoOp 的新方法，它针对 few-shot OOD 检测进行本地正则化的上下文优化，利用 CLIP 本地特征的部分作为 OOD 特征，并展示了它在大规模 ImageNet OOD 检测基准测试中的优越性。

    Jun, 2023

  • 视觉语言模型的条件提示学习

    本研究通过提出的 CoCoOp 方法，将输入联系令牌向量与图像条件结合起来和动态提示，以解决 Context Optimization（CoOp）中发现的上下文过度适应基类，取得了更好的泛化性和域泛化性能，实验结果可在提供的网址查看。

    Mar, 2022

  • 双重对比学习：基于标签感知数据增强的文本分类

    本研究利用 DualCL 框架将分类器参数作为增广样本，与输入样本结合运用对比学习方法，在五个基准文本分类数据集上表现出较高的分类准确性，并证实了 DualCL 框架在学习具有判别性的表示方面的能力。

    Jan, 2022

  • 一种双模态方法用于（零样本）多标签分类

    该论文提出了一个新算法 - Aligned Dual moDality ClaSsifier (ADDS)，其中包括一个双模式解码器 (DM-decoder) 和视觉和文本特征之间的对齐，用于多标签分类任务，并设计了一种称为金字塔前馈 (Pyramid-Forwarding) 的方法来增强输入的性能，通过在多个基准数据集，如 MS-COCO 和 NUS-WIDE 上进行了广泛的实验，证明了该方法显著优于以前的方法，并为传统的多标签分类，零样本多标签分类，以及单到多标签分类提供了最先进的性能。

    Aug, 2022

  • 图像 - 文本 - 标签空间统一的对比学习

    该研究提出了一种新型的学习范式 - 统一对比学习（UniCL），通过将人类标注的图像标签数据和网络爬取的图像文本数据相结合，学习出在零样本，线性探测，完全微调和迁移学习方案中具有语义丰富而有区分性的表示。在各种基准测试中，UniCL 的性能均优于语言图像对比学习和监督学习方法，并且在纯图像标签数据上，其表现也不亚于监督学习方法。

    Apr, 2022

  • 利用类别共现概率提升多标签识别

    通过整合多标签识别、视觉语言模型、条件概率和图卷积网络，我们提出了一种方法来改进独立分类器的性能，并在多个多标签识别数据集上取得胜于现有方法的结果。

    Apr, 2024

  • ECO: 基于集成上下文优化的视觉语言模型

    通过学习图像分类的一系列提示信息，我们证明了与仅仅依赖一个可训练提示相比，学习多样和可能更短的上下文能够在推理时间不增加额外成本的情况下显著和一致地提高结果，在 11 个不同基准测试中显示了我们方法的能力。

    Jul, 2023

  • 学习使用部分输入识别被遮挡和小物体

    使用 Masked Supervised Learning (MSL) 方法学习基于上下文的多标签图像识别，通过部分输入和标签的一致性模型来增强识别小目标和被遮挡目标的性能。

    Oct, 2023