利用大型语言模型演变可解释的视觉分类器

Apr, 2024

利用大型语言模型演变可解释的视觉分类器

Evolving Interpretable Visual Classifiers with Large Language Models

Mia Chiquier, Utkarsh Mall, Carl Vondrick

TL;DR通过演化搜索算法和大语言模型的上下文学习能力，我们提出了一种能够发现解释性又具有辨识性的用于视觉识别的属性集合的新方法，并在五个细粒度的 iNaturalist 数据集上比最先进的基准方法提高了 18.4%，在两个 KikiBouba 数据集上提高了 22.2%。

Abstract

multimodal pre-trained models, such as CLIP, are popular for zero-shot classification due to their open-vocabulary flexibility and high performance. However, vision-language models, which compute similarity score

multimodal pre-trained models zero-shot classification vision-language models interpretable fine-grained classifiers evolutionary search algorithm

发现论文，激发创造

利用大型语言模型的描述进行视觉分类

本文介绍了一种基于描述符的视觉语言模型分类方法，通过查询大型语言模型获取描述符，实现从中获得更多的信息并提供可解释性；实验证明了该方法在图像分类精度，适应新概念和缓解偏差等方面有着广泛的优势。

Oct, 2022

视觉 - 语言模型的跨模态概念学习和推理

使用大规模预训练的视觉语言模型（如 CLIP）及跨模态概念学习和推理（CCLI）方法，能够通过文本和图像之间的相关性自动学习图像的视觉概念，并构建区分性的图像表示，从而提高少样本学习和领域泛化等图像分类任务的性能。

Jul, 2023

学习简洁和描述性的视觉识别属性

最近基础模型的进展为可解释的视觉识别提供了新的机会，通过查询大型语言模型获取描述每个类别的属性，然后应用视觉语言模型通过这些属性对图像进行分类，我们的研究发现，大量的 LLM 生成的属性与随机词几乎没有差别，我们提出了一种新的学习搜索方法来发现那些简明的属性集，该方法在 CUB 数据集上使用仅 32 个属性来区分 200 个鸟类的性能接近于大量 LLM 生成的属性（例如 CUB 的 10,000 个属性），此外，我们的新范式还展示了几个附加优势：人类的更高可解释性和互动性，以及总结知识的能力。

Aug, 2023

更多上下文，少了干扰：基于推断和调节上下文属性的视觉分类

基于对人类视觉知觉过程的启示，本文提出了一种基于上下文属性的训练无需的两步式零样本分类方法 PerceptionCLIP，并通过实验证明其在泛化性能、群体鲁棒性和可解释性方面具有优势。

Aug, 2023

视觉语言模型的可扩展性能分析

本文介绍了一种更具可伸缩性的方法，其根据从视觉 - 语言基准中提取的大量多样化特征，并测量它们与目标模型输出的相关性。通过该方法，作者确认了之前发现的 CLIP 表现类似于词袋模型，并且在名词和动词上表现更好；作者还发现 CLIP 在处理具体词语时会出现混淆。该框架可用于其他多模态模型和基准测试。

May, 2023

LLMs 作为视觉解释器：通过演变的视觉描述推进图像分类

将视觉语言模型（VLMs）与大型语言模型（LLMs）相结合的迭代优化与视觉反馈方法，显著提高了图像分类性能，并产生了可解释和稳健的特征描述符。

Nov, 2023

利用多个描述特征进行强韧少样本图像学习

通过使用大型语言模型自动列举每个类别的多个视觉描述，并使用视觉 - 图像模型将这些描述转化为每个图像的多个视觉特征集，然后使用稀疏逻辑回归选择相关特征子集进行分类，该方法在直观表示相关特征和少样本学习任务中表现出色，并在基于微调的方法中在分布内外任务上超过了现有的最先进方法。

Jul, 2023

ECOR：面向目标识别的可解释 CLIP

在本研究中，我们通过给对象识别任务中的大视觉语言模型（VLMs）提供可解释性的数理定义（基于类别和原因的联合概率分布），以一种可解释的方式对 CLIP 进行微调，从而在解释性分类方面展现了最先进的性能，尤其在零样本设置下表现出了它的适应性，使解释性的对象识别得到了改善，增强了不同应用中的信任。

Apr, 2024

名称背后的含义：超越图像识别分类指数

本论文使用非参数方法建立图像之间的关系，设计出一种基于视觉语言模型的图像分类方法，使模型在图像分类问题上能更好地解决零样本和半监督问题，将语义信息映射到图像分类上，并在 ImageNet 数据集中取得了约 50% 的性能提升。

Apr, 2023

CLIP 能为视觉语言任务带来多大的效益？

研究了在视觉与语言任务中使用大规模预训练模型 CLIP 作为视觉编码器以及其优势，通过在特定任务中微调和在预训练模型中与 V&L 相结合传递到下游任务，CLIP 显著优于现有的视觉编码器，并在多种视觉与语言任务中取得竞争或更好的结果，同时取得了 Visual Question Answering，Visual Entailment 和 V&L Navigation 等任务的新高峰。

Jul, 2021