Sep, 2023

深入探讨多模式提示在细粒度视觉分类中的应用

PDF
TL;DR本文介绍了一种基于 CLIP 模型的多模态提示解决方案（MP-FGVC），通过跨模态描述充分利用 CLIP 模型在细粒度视觉分类（FGVC）任务中的能力，并且通过多模态的协同推理进一步提高 FGVC 的性能。
fine-grained visual classificationcross-modal descriptionmultimodal promptingclip modelfgvc
发现论文，激发创造
  • 细粒度视觉提示

    本文介绍了一种新的零样本学习框架，Fine-Grained Visual Prompting（FGVP），通过使用精确的掩码注释来改进视觉提示设计，并展示了在不同的基准测试上均优于传统方法的性能表现。

    Jun, 2023

  • 多阶段度量学习实现细粒度视觉分类

    本研究提出了一种多阶段度量学习框架，针对细粒度视觉分类中高维特征向量的学习问题，通过距离度量学习解决了相互关联且难以区分的子类别和大量内部类差异等问题，并在 FGVC 基准数据集上取得了显著的性能提升。

    Feb, 2014

  • 概念引导下的提示学习进行视觉 - 语言模型泛化

    通过概念引导提示学习的方式，CPL 方法显著提高了通用化性能。

    Jan, 2024

  • 大规模视觉语言模型用于细粒度船舶分类的高效提示调整

    本研究探讨了利用大型预训练视觉 - 语言模型在遥感领域中增强未见船只类别分类准确性的潜力，介绍了一种新颖的逐步调整技术来解决过拟合问题，并引入了一个全面的数据集（FGSCM-52）以及证明了该方法在实验中的优越性。

    Mar, 2024

  • 基于显著掩膜引导的视觉 Transformer 用于细粒度分类

    本文提出了一个简单而有效的 Salient Mask-Guided Vision Transformer（SM-ViT）方法来在精细 - grained 视觉分类（FGVC）问题中捕捉潜在的可区分特征，进而提高视觉 Transformer 模型的分类性能。实验证明，SM-ViT 比现有的基于 ViT 的方法表现更优秀，需要更少的资源和较低的输入图像分辨率。

    May, 2023

  • R2-Trans: 细粒度视觉分类中的冗余减少

    本文提出了一种新颖的 Fine-grained visual categorization (FGVC) 方法，可以同时运用环境线索中局部但足够区分的信息和对目标类别下的冗余信息进行压缩，通过计算批次中高权重区域的比例和自适应阈值，实现了输入空间中背景信息的适度提取。此外，本文还使用信息瓶颈方法指导网络在特征空间中学习最小充分表示。实验结果表明，此方法在三个常用基准数据集上表现优于其他最先进的方法和基线模型。

    Apr, 2022

  • 视觉 - 语言模型的多模态特征提示

    我们提出了一种多模态属性提示方法（MAP），通过同时探索文本属性提示、视觉属性提示和属性级对齐来解决大规模预训练视觉 - 语言模型（VLMs）在少样本情况下的一些局限性，实验结果表明我们的方法在 11 个数据集上表现优于现有方法。

    Mar, 2024

  • VT-CLIP: 使用视觉引导文本增强视觉语言模型

    提出一种名为 VT-CLIP 的方法来增强 CLIP 模型，它通过可视化引导文本，使文本的特征更适应图片，在多分类任务中表现出很高的效果。

    Dec, 2021

  • Finer: 大规模视觉语言模型中细粒度视觉概念识别的研究与增强

    最近在指导的大型视觉语言模型方面取得的进展，使得模型能够轻松生成高层次的基于图像的解释。然而，我们的工作揭示了这些模型在细粒度的视觉分类方面的缺陷，并且我们提出了一个多粒度属性为中心的评估基准，用于评估大型视觉语言模型的细粒度视觉理解能力并提供显著改进的可解释性。

    Feb, 2024

  • 多模态小样本类增量细粒度数据学习的简化方法

    该研究提出了两个简单的模块来解决 Vision-Language 模型在少样本类增量学习方面的挑战，并在新引入的细粒度数据集上实验结果表明，相比基准模型平均提高了 10 个百分点，而所需的可训练参数少至 8 倍。

    Mar, 2024