ICLRJan, 2024

用大型语言模型实现细粒度视觉识别的民主化

PDF
TL;DR使用大型语言模型作为代理，FineR 在语义细分类别推理方面体现出更好性能，优于几种先进的 FGVR 和语音与视觉助手模型，并展示了在野外和新领域中工作的潜力。
fine-grained visual recognitionsubordinate-level categorieslarge language modelsfgvr systemsfiner
发现论文，激发创造
  • Finer: 大规模视觉语言模型中细粒度视觉概念识别的研究与增强

    最近在指导的大型视觉语言模型方面取得的进展，使得模型能够轻松生成高层次的基于图像的解释。然而，我们的工作揭示了这些模型在细粒度的视觉分类方面的缺陷，并且我们提出了一个多粒度属性为中心的评估基准，用于评估大型视觉语言模型的细粒度视觉理解能力并提供显著改进的可解释性。

    Feb, 2024

  • 可学习的语义数据增强的细粒度识别

    通过特征级别的数据增强和协方差预测网络，我们提出了一种改善细粒度图像识别的方法，可以有效区分细分类别，提高泛化性能。

    Sep, 2023

  • 大规模细粒度分类和领域特定的迁移学习

    本研究提出了一种从大规模数据集到小规模、特定领域细粒度图像分类（Fine Grained Visual Categorization, FGVC）任务的迁移学习方法，并通过 Earth Mover's Distance 提出了一种衡量领域相似度的方法，实现了目标领域与数据源领域之间的知识迁移，得到了最先进的结果。

    Jun, 2018

  • DVF: 提升鲁棒性和准确性的细粒度图像检索与检索指南

    本文提出了实用的细粒度图像检索模型设计指南，包括强调对象、凸显子类别特异性差异以及采用有效的训练策略。通过遵循指南并设计了一种新颖的双重视觉过滤机制（DVF），本文在三个广泛使用的细粒度数据集上实现了最先进的性能表现。

    Apr, 2024

  • ViGoR: 用细粒度的奖励建模提高大型视觉语言模型的视觉关联能力

    通过细粒度的奖励建模，ViGoR 框架显著提高了大型视觉语言模型在视觉 grounding 上的效果，该方法使用较便宜的人工评估和自动化方法，有效地减少了视觉输入的不准确性问题，并构建了一个用于验证视觉 grounding 能力的全面且具有挑战性的数据集。

    Feb, 2024

  • 基于知识嵌入的细粒度图像识别表征学习

    本文提出了一个知识图谱和门控图神经网络相结合的框架，名为知识嵌入表示学习框架，用于处理细粒度图像识别问题，并在广泛使用的 Caltech-UCSD 鸟数据集上进行了大量实验，证明了该框架超越现有的最先进方法。

    Jul, 2018

  • 多阶段度量学习实现细粒度视觉分类

    本研究提出了一种多阶段度量学习框架，针对细粒度视觉分类中高维特征向量的学习问题，通过距离度量学习解决了相互关联且难以区分的子类别和大量内部类差异等问题，并在 FGVC 基准数据集上取得了显著的性能提升。

    Feb, 2014

  • 学习细粒度视觉描述的深度表示

    本文提出了使用神经语言模型来克服零 - shot 视觉识别中属性的局限性，并取得了在文本图像检索精度和零 - shot 分类准确率上的显著性提升。

    May, 2016

  • R2-Trans: 细粒度视觉分类中的冗余减少

    本文提出了一种新颖的 Fine-grained visual categorization (FGVC) 方法，可以同时运用环境线索中局部但足够区分的信息和对目标类别下的冗余信息进行压缩，通过计算批次中高权重区域的比例和自适应阈值，实现了输入空间中背景信息的适度提取。此外，本文还使用信息瓶颈方法指导网络在特征空间中学习最小充分表示。实验结果表明，此方法在三个常用基准数据集上表现优于其他最先进的方法和基线模型。

    Apr, 2022

  • 通过结合视觉和语言进行细粒度图像分类

    该论文提出了一种结合视觉和语言的两流模型，通过深度卷积神经网络从原始图像信息中学习深度表示，并利用自然语言描述来编码区分子类的显著视觉方面，从而实现更好的分类精度。

    Apr, 2017