无需词汇的图像分类

Jun, 2023

Vocabulary-free Image Classification

Alessandro Conti, Enrico Fini, Massimiliano Mancini, Paolo Rota, Yiming Wang...

TL;DR该论文提出了一种名为 “无词汇图像分类（VIC）” 的新任务，通过使用外部视觉语言数据库（即语义空间）来解决这个任务，为此提出了一个名为 CaSED 的方法，它利用预训练的视觉语言模型和外部视觉语言数据库在训练自由的情况下来完成任务，与其他复杂的视觉语言框架相比，在参数更少的情况下具有更好的分类效果。

Abstract

Recent advances in large vision-language models have revolutionized the image classification paradigm. Despite showing impressive zero-shot capabilities, a pre-defined set of categories, a.k.a. the vocabulary, is assumed at test time for composing the textual prompts. However, such assumption can be impractical when the semantic context is unknown and evolvi

vocabulary-free image classification semantic space category search from external databases vision-language model complex vision-language frameworks

发现论文，激发创造

无词汇图像分类与语义分割

通过引入外部数据库，提出了一种无需预定义类别词汇即可对图像进行分类和语义分割的方法，该方法基于预训练的视觉 - 语言模型，使用较少参数的情况下在分类和语义分割基准上优于其他更复杂的模型。

Apr, 2024

名称背后的含义：超越图像识别分类指数

本论文使用非参数方法建立图像之间的关系，设计出一种基于视觉语言模型的图像分类方法，使模型在图像分类问题上能更好地解决零样本和半监督问题，将语义信息映射到图像分类上，并在 ImageNet 数据集中取得了约 50% 的性能提升。

Apr, 2023

通过对比和聚类视觉语言嵌入进行开放世界语义分割

本文提出了一种基于图像文本交互的语义分割模型 ViL-Seg，通过无需密集标注的方式，利用网络上自然存在的图像和文本数据，学习到能够直接分割任意开放世界类别对象的能力，实验结果在三个基准数据集上优于需要数据标注的零样本分割方法。

Jul, 2022

利用大型语言模型的描述进行视觉分类

本文介绍了一种基于描述符的视觉语言模型分类方法，通过查询大型语言模型获取描述符，实现从中获得更多的信息并提供可解释性；实验证明了该方法在图像分类精度，适应新概念和缓解偏差等方面有着广泛的优势。

Oct, 2022

为视觉和语言模型命名类别的学习

使用可用数据为每个类学习最佳词嵌入作为视觉内容的函数，以此来解决零样本识别对手工类名的高度敏感以及适应新、较小数据集的困难。我们证明，该解决方案可以轻松集成在图像分类和物体检测管道中，在多种情况下产生显著的性能增益，并提供模型偏差和标注误差的见解。

Apr, 2023

使用合成数据的视觉和语言模型超越名词

本文旨在通过提供一百万级的、人工合成的图像数据集 SyViC 和相应的数据生成代码，以及细调模型的策略，探讨如何提高视觉语言模型对非物体类词汇等方面（即超越名词的视觉语言概念）的理解和组合推理能力，从而在保持零样本准确度的前提下，极大提高模型的性能。通过在 ARO 和 VL-Checklist 等基准测试上的广泛实验和削减，我们证明了用人工合成数据进行训练可以在不牺牲零样本能力的情况下大幅提升其 VLC 理解能力（如在 ARO 上提高 9.9％，VL-Checklist 上提高 4.3％）。

Mar, 2023

IFSeg：基于视觉语言模型的无图像语义分割

本文提出了一种新的无图像分割任务，旨在通过视觉语言预训练模型，生成基于语义类别的人工图像分割对，并通过对这些人工对的学习，让预训练模型适应于分割任务，该方法在实验中表现良好。

Mar, 2023

LaFTer：使用语言和未标记图像集合进行零样本分类器的无标签调整

本文介绍了一种使用未标记的图像集合和大型语言模型自动生成标签，并通过这种非监督方式实现了零样本分类器性能的显著提高的方法。与传统的监督训练方法相比，在多个数据集上的绝对提升高达 11.7％（平均 3.8％），而与一些少样本提示基线相比的平均增益为 1.3％。

May, 2023

无需指导的开放词汇语义分割

TAG 是一种新颖的方法，用于在计算机视觉中进行无需训练、注释和指导的开放词汇语义分割，通过利用预训练模型以及来自外部数据库的类别标签检索，达到了在 PascalVOC、PascalContext 和 ADE20K 数据集上的开放词汇分割的最新成果。

Mar, 2024

基于语义表示的语言偏差图像分类评估

通过引入基于认知科学文献的方法工具，本研究介绍了一项基准测试来评估人工模型的偏差，并使用这个基准测试评估了 CLIP 模型。我们发现，虽然单词嵌入的图像会扭曲 CLIP 模型在不同类别级别上的图像分类，但这种影响不依赖于图像和嵌入单词之间的语义关系，这表明 CLIP 视觉处理中的语义词表示与图像表示不共享。

Jan, 2022