Apr, 2023

名称背后的含义：超越图像识别分类指数

PDF
TL;DR本论文使用非参数方法建立图像之间的关系，设计出一种基于视觉语言模型的图像分类方法，使模型在图像分类问题上能更好地解决零样本和半监督问题，将语义信息映射到图像分类上，并在 ImageNet 数据集中取得了约 50% 的性能提升。
machine learningobject recognitionvision-language modelszero-shotimagenet
发现论文，激发创造
  • 为视觉和语言模型命名类别的学习

    使用可用数据为每个类学习最佳词嵌入作为视觉内容的函数，以此来解决零样本识别对手工类名的高度敏感以及适应新、较小数据集的困难。我们证明，该解决方案可以轻松集成在图像分类和物体检测管道中，在多种情况下产生显著的性能增益，并提供模型偏差和标注误差的见解。

    Apr, 2023

  • 利用大型语言模型演变可解释的视觉分类器

    通过演化搜索算法和大语言模型的上下文学习能力，我们提出了一种能够发现解释性又具有辨识性的用于视觉识别的属性集合的新方法，并在五个细粒度的 iNaturalist 数据集上比最先进的基准方法提高了 18.4%，在两个 KikiBouba 数据集上提高了 22.2%。

    Apr, 2024

  • 利用大型语言模型的描述进行视觉分类

    本文介绍了一种基于描述符的视觉语言模型分类方法，通过查询大型语言模型获取描述符，实现从中获得更多的信息并提供可解释性；实验证明了该方法在图像分类精度，适应新概念和缓解偏差等方面有着广泛的优势。

    Oct, 2022

  • 无需词汇的图像分类

    该论文提出了一种名为 “无词汇图像分类（VIC）” 的新任务，通过使用外部视觉语言数据库（即语义空间）来解决这个任务，为此提出了一个名为 CaSED 的方法，它利用预训练的视觉语言模型和外部视觉语言数据库在训练自由的情况下来完成任务，与其他复杂的视觉语言框架相比，在参数更少的情况下具有更好的分类效果。

    Jun, 2023

  • LLM 见视觉语言模型用于零样本单类别分类

    我们提出了一个两步解决方案，首先通过查询大规模语言模型来辨别视觉上具有混淆性的物体，然后依靠视觉 - 语言预训练模型（例如 CLIP）进行分类。通过适应大规模视觉基准测试，我们展示了所提出方法在此情境下优于其他自适应商用替代方案的能力，包括一个在分类树中与正样本在一个固定距离的负样本的细粒度可控版本的 iNaturalist。我们的研究表明，仅通过标签，可以区分单个类别与其他语义相关的类别。

    Mar, 2024

  • 更多上下文，少了干扰：基于推断和调节上下文属性的视觉分类

    基于对人类视觉知觉过程的启示，本文提出了一种基于上下文属性的训练无需的两步式零样本分类方法 PerceptionCLIP，并通过实验证明其在泛化性能、群体鲁棒性和可解释性方面具有优势。

    Aug, 2023

  • 基于语义表示的语言偏差图像分类评估

    通过引入基于认知科学文献的方法工具，本研究介绍了一项基准测试来评估人工模型的偏差，并使用这个基准测试评估了 CLIP 模型。我们发现，虽然单词嵌入的图像会扭曲 CLIP 模型在不同类别级别上的图像分类，但这种影响不依赖于图像和嵌入单词之间的语义关系，这表明 CLIP 视觉处理中的语义词表示与图像表示不共享。

    Jan, 2022

  • 探索无人类标签的开放词汇语义分割

    该论文介绍了一种使用预训练的图像 - 语言模型进行零样本学习的语义分割方法，将预训练模型中的视觉概念知识转化为分割区域的语义信息表示（即 segment tokens）并应用于视觉语义分割任务中。实验结果表明，该方法在多个公共基准数据集上可以达到与有监督训练方法相竞争的效果。

    Jun, 2023

  • 对比视觉语言模型中的感知分组

    本篇论文研究视觉 - 语言模型在理解图像中物体所在区域和组合视觉相关部分方面的表现，提出一种最小的修改方案，获得了先进的无监督分割结果和对冗余相关性的鲁棒性。

    Oct, 2022

  • 基于视觉信息的描述提升零样本图像分类

    本文提出了一种名为 V-GLOSS 的方法，利用现代语言模型和语义知识库生成视觉上有根据的类别描述，进而解决现有方法中存在的粒度和标签歧义问题。通过在 ImageNet 和 STL-10 等基准 ZSIC 数据集上实现最新的结果，证明了 V-GLOSS 的有效性，并引入了一个 V-GLOSS 生成的类别描述的银数据集，并展示了它在视觉任务中的有用性。

    Jun, 2023