DualCoOp++:有限标注下快速、高效的多标签识别适应性
本论文提出了一种名为 DualCoOp 的统一框架,用于解决多标签识别的低标记问题,通过利用文本和视觉特征之间的强对齐,通过将类别名作为部分的语言输入来编码正负上下文,从而适应具有有限注释和未知类别的多标签识别任务,在标准多标签识别基准测试中,超过了现有方法的优点。
Jun, 2022
本文介绍了如何使用 CoOp, 一种基于学习来应用 CLIP vision-language 模型用于下游图像识别任务的简单方法,以解决使用自然语言描述类别来进行分类训练领域专业性强、耗时的问题,并证明其比手工制作的提示更好。
Sep, 2021
我们介绍了一种名为 LoCoOp 的新方法,它针对 few-shot OOD 检测进行本地正则化的上下文优化,利用 CLIP 本地特征的部分作为 OOD 特征,并展示了它在大规模 ImageNet OOD 检测基准测试中的优越性。
Jun, 2023
本研究通过提出的 CoCoOp 方法,将输入联系令牌向量与图像条件结合起来和动态提示,以解决 Context Optimization(CoOp)中发现的上下文过度适应基类,取得了更好的泛化性和域泛化性能,实验结果可在提供的网址查看。
Mar, 2022
本文提出了一种新的端到端无监督深度领域适应模型,利用多标签对象识别作为双重辅助任务实现自适应对象检测,使用多标签预测揭示每个图像中的对象类别信息,然后使用预测结果执行条件对抗全局特征对齐,从而可以处理图像特征的多模态结构以在全局特征级别上连接域分歧,同时保留特征的可辨析性。此外,还引入了一种预测一致性正则化机制来辅助目标检测,该机制使用多标签预测结果作为辅助正则化信息,以确保对象识别任务和对象检测任务之间一致的对象类别发现。在几个基准数据集上进行实验,结果表明,该模型优于现有方法。
Mar, 2020
通过学习图像分类的一系列提示信息,我们证明了与仅仅依赖一个可训练提示相比,学习多样和可能更短的上下文能够在推理时间不增加额外成本的情况下显著和一致地提高结果,在 11 个不同基准测试中显示了我们方法的能力。
Jul, 2023
该论文提出了一个新算法 - Aligned Dual moDality ClaSsifier (ADDS),其中包括一个双模式解码器 (DM-decoder) 和视觉和文本特征之间的对齐,用于多标签分类任务,并设计了一种称为金字塔前馈 (Pyramid-Forwarding) 的方法来增强输入的性能,通过在多个基准数据集,如 MS-COCO 和 NUS-WIDE 上进行了广泛的实验,证明了该方法显著优于以前的方法,并为传统的多标签分类,零样本多标签分类,以及单到多标签分类提供了最先进的性能。
Aug, 2022
本研究提出了一种基于语义对比引导的递归语义掩蔽转换器和引导框架,用于解决多标签图像识别中单一正标签的困难问题,通过迭代优化网络参数和细化语义指导,显著提高了多标签图像识别的性能。
Jul, 2023
该研究提出了一种新型的学习范式 - 统一对比学习(UniCL),通过将人类标注的图像标签数据和网络爬取的图像文本数据相结合,学习出在零样本,线性探测,完全微调和迁移学习方案中具有语义丰富而有区分性的表示。在各种基准测试中,UniCL 的性能均优于语言图像对比学习和监督学习方法,并且在纯图像标签数据上,其表现也不亚于监督学习方法。
Apr, 2022
本研究利用 DualCL 框架将分类器参数作为增广样本,与输入样本结合运用对比学习方法,在五个基准文本分类数据集上表现出较高的分类准确性,并证实了 DualCL 框架在学习具有判别性的表示方面的能力。
Jan, 2022