基于随机单词和广泛概念的视觉分类性能探讨

Jun, 2023

基于随机单词和广泛概念的视觉分类性能探讨

Waffling around for Performance: Visual Classification with Random Words and Broad Concepts

Karsten Roth, Jae Myung Kim, A. Sophia Koepke, Oriol Vinyals, Cordelia Schmid...

TL;DR本文提出了一种名为 WaffleCLIP 的框架，通过简单地替换 LLM 生成的描述符为字符和词串，而无需查询外部模型，就在大量的视觉分类任务中实现类似的性能提升，并通过实验研究了 LLM 生成的描述符引入附加语义的影响和缺陷。

Abstract

The visual classification performance of vision-language models such as CLIP can benefit from additional semantic knowledge, e.g. via larg

visual classification vision-language models semantic knowledge llms waffleclip

发现论文，激发创造

利用大型语言模型的描述进行视觉分类

本文介绍了一种基于描述符的视觉语言模型分类方法，通过查询大型语言模型获取描述符，实现从中获得更多的信息并提供可解释性；实验证明了该方法在图像分类精度，适应新概念和缓解偏差等方面有着广泛的优势。

Oct, 2022

利用大型语言模型演变可解释的视觉分类器

通过演化搜索算法和大语言模型的上下文学习能力，我们提出了一种能够发现解释性又具有辨识性的用于视觉识别的属性集合的新方法，并在五个细粒度的 iNaturalist 数据集上比最先进的基准方法提高了 18.4%，在两个 KikiBouba 数据集上提高了 22.2%。

Apr, 2024

CLAMP：对比式语言模型启发调节

研究论文简介：本文研究了大型语言模型在图像分类方面的应用，通过对多模态语言模型进行轻微微调，使用对比式图像 - 标题匹配目标，取得了比目前最先进的 MLLMs 提高了 13% 的图像分类性能，同时保留了语言模型的生成能力。

Dec, 2023

TagCLIP：一种增强无需训练的 CLIP 开放词汇多标签分类的本地到全局框架

通过局部到全局的框架，我们提出了一种扩展了 CLIP 的方法来提高多标签分类性能，并通过生成的标签在弱监督语义分割任务中取得了显著的性能提升。

Dec, 2023

RWKV-CLIP：一个稳健的视觉 - 语言表示学习器

通过扩展数据集和模型架构，该研究进一步探索了具有对比语言 - 图像预训练（CLIP）的视觉语言任务的性能，在处理来自网站的图像 - 文本对时。通过引入多样化的描述生成框架，该研究提出了 RWKV-CLIP，其中结合了变压器的有效并行训练和循环神经网络的高效推理。通过广泛的实验和多种模型规模和预训练数据集，证明了 RWKV-CLIP 是一个强大而有效的视觉语言表征学习器，在线性探测、零样例分类和零样例图像 - 文本检索等多个下游任务中实现了最先进的性能。

Jun, 2024

SemEval-2023 任务 1 的增强器：通过提示增强和文本图像扩散增强 CLIP 在处理零样本视觉词义消歧中的复合性和歧义性能力

本文有关英文文本下的视觉词义消岐，作者通过两种方法 Augment-CLIP 与 Stable Diffusion Sampling 解决了匹配过程中复杂的组合问题，其中 Augment-CLIP 采用了较大的语言模型来生成文本提示。

Jul, 2023

基于视觉信息的描述提升零样本图像分类

本文提出了一种名为 V-GLOSS 的方法，利用现代语言模型和语义知识库生成视觉上有根据的类别描述，进而解决现有方法中存在的粒度和标签歧义问题。通过在 ImageNet 和 STL-10 等基准 ZSIC 数据集上实现最新的结果，证明了 V-GLOSS 的有效性，并引入了一个 V-GLOSS 生成的类别描述的银数据集，并展示了它在视觉任务中的有用性。

Jun, 2023

ChatGPT 强化层次比较在图像分类中的应用

使用预训练的视觉 - 语言模型，通过分层比较的方式，解决零样本开放词汇挑战中的图像分类问题，克服了 CLIP 中的偏差，实现了直观、有效且可解释的方法。

Nov, 2023

为何视觉与语言结合的模型在图像分类上不佳？

基于本文的研究发现，将分类聚焦的数据集整合到可视语言模型的训练中可以提高其分类性能，并将性能提升转移到其一般能力上，对于新收集的 ImageWikiQA 数据集，准确率提高了 11.8%。

May, 2024

LLM 见视觉语言模型用于零样本单类别分类

我们提出了一个两步解决方案，首先通过查询大规模语言模型来辨别视觉上具有混淆性的物体，然后依靠视觉 - 语言预训练模型（例如 CLIP）进行分类。通过适应大规模视觉基准测试，我们展示了所提出方法在此情境下优于其他自适应商用替代方案的能力，包括一个在分类树中与正样本在一个固定距离的负样本的细粒度可控版本的 iNaturalist。我们的研究表明，仅通过标签，可以区分单个类别与其他语义相关的类别。

Mar, 2024