ICCVAug, 2023

学习简洁和描述性的视觉识别属性

PDF
TL;DR最近基础模型的进展为可解释的视觉识别提供了新的机会，通过查询大型语言模型获取描述每个类别的属性，然后应用视觉语言模型通过这些属性对图像进行分类，我们的研究发现，大量的 LLM 生成的属性与随机词几乎没有差别，我们提出了一种新的学习搜索方法来发现那些简明的属性集，该方法在 CUB 数据集上使用仅 32 个属性来区分 200 个鸟类的性能接近于大量 LLM 生成的属性（例如 CUB 的 10,000 个属性），此外，我们的新范式还展示了几个附加优势：人类的更高可解释性和互动性，以及总结知识的能力。
foundation modelsinterpretable visual recognitionlarge language modelsllm-generated attributeslearning-to-search method
发现论文，激发创造
  • 利用大型语言模型演变可解释的视觉分类器

    通过演化搜索算法和大语言模型的上下文学习能力，我们提出了一种能够发现解释性又具有辨识性的用于视觉识别的属性集合的新方法，并在五个细粒度的 iNaturalist 数据集上比最先进的基准方法提高了 18.4%，在两个 KikiBouba 数据集上提高了 22.2%。

    Apr, 2024

  • 自动发现、关联估计和学习语义属性：千种类别

    本文提出了一种端到端的无监督属性学习方法，利用在线文本语料库自动发现与人类概念语义属性相关的显著且有区分度的词汇，并针对文本中的噪声和缺失数据，提出了一个深度卷积模型来优化课程 - 属性关联。 实验证明，该方法能够有效地在大规模数据集上发现和学习语义属性，并且在 ImageNet、Animals 较 Attributes 和 aPascal/aYahoo 三个数据集上优于现有技术的零样本学习效果。

    Apr, 2017

  • 学习细粒度视觉描述的深度表示

    本文提出了使用神经语言模型来克服零 - shot 视觉识别中属性的局限性，并取得了在文本图像检索精度和零 - shot 分类准确率上的显著性提升。

    May, 2016

  • 利用大型语言模型的描述进行视觉分类

    本文介绍了一种基于描述符的视觉语言模型分类方法，通过查询大型语言模型获取描述符，实现从中获得更多的信息并提供可解释性；实验证明了该方法在图像分类精度，适应新概念和缓解偏差等方面有着广泛的优势。

    Oct, 2022

  • 利用多个描述特征进行强韧少样本图像学习

    通过使用大型语言模型自动列举每个类别的多个视觉描述，并使用视觉 - 图像模型将这些描述转化为每个图像的多个视觉特征集，然后使用稀疏逻辑回归选择相关特征子集进行分类，该方法在直观表示相关特征和少样本学习任务中表现出色，并在基于微调的方法中在分布内外任务上超过了现有的最先进方法。

    Jul, 2023

  • 野外视觉属性预测学习

    本研究提出一种用于预测对象视觉属性的大规模数据集，通过多标签分类解决对象属性预测问题，并采用多种技术来解决大量属性、标签稀疏性、数据不平衡和对象遮挡等问题，其中包括使用低级和高级 CNN 特征、多跳关注、重新加权和重新抽样技术、负标签扩展和监督属性感知对比学习算法，并取得了超过现有技术水平的 3.7 mAP 和 5.7 F1 值的改进。

    Jun, 2021

  • 视觉语言辅助属性学习

    本文提出了一种利用可用的视觉 - 语言知识来改进模型学习的方法，通过一个现成的视觉 - 语言模型辅助，预测每个缺失的属性标签的可能性，在训练中选择忽略那些得分较高的标签，该方法在对新整理的 VAW 数据集上实现了最先进的性能，定性评估证明了该方法在预测更完整属性方面的能力。

    Dec, 2023

  • Finer: 大规模视觉语言模型中细粒度视觉概念识别的研究与增强

    最近在指导的大型视觉语言模型方面取得的进展，使得模型能够轻松生成高层次的基于图像的解释。然而，我们的工作揭示了这些模型在细粒度的视觉分类方面的缺陷，并且我们提出了一个多粒度属性为中心的评估基准，用于评估大型视觉语言模型的细粒度视觉理解能力并提供显著改进的可解释性。

    Feb, 2024

  • 解耦属性和物体的视觉嵌入

    本研究针对目标属性识别的组合式零样本学习问题，提出了一种新颖的体系结构，用于在视觉空间中区分属性和对象特征并使用视觉分解特征产生代表性的嵌入，旨在更好地正则化模型的学习，实验结果表明我们的方法在 MIT-States，UT-Zappos 和基于 VAW 的新基准上的性能显著优于现有工作。

    May, 2022

  • ViLLA: 从真实世界数据中细粒度的视觉 - 语言表示学习

    通过系统评估，本研究首次证明了在训练数据的两两复杂性增加时，标准视觉语言模型在学习图像区域与文本属性之间的细粒度关系方面存在性能下降问题，为了解决这个问题，研究引入了 ViLLA，通过两个组件（自监督映射模型和对比视觉语言模型）来训练捕捉复杂数据集中图像区域与文本属性的细粒度关系，实验证明 ViLLA 在细粒度推理任务（如零样本目标检测和检索）上表现优于其他视觉语言模型。

    Aug, 2023