生成图像特定文本改进细粒度图像分类

Jul, 2023

生成图像特定文本改进细粒度图像分类

Generating Image-Specific Text Improves Fine-grained Image Classification

Emily Mu, Kathleen M. Lewis, Adrian V. Dalca, John Guttag

TL;DR提出了一种从仅包含图像的数据集中生成图像特定的精细文本描述，并证明这些文本描述可以用于改进分类的方法GIST，并通过在图像和生成的文本对上对视觉语言模型进行微调以学习对齐的视觉语言表示空间，从而在多个领域的四个不同领域的细粒度分类数据集上实现了4.1%的准确率提升，并在全样本和少样本情况下实现了类似的改进。

Abstract

Recent vision-language models outperform vision-only models on many image classification tasks. However, because of the absence of paired text/image descriptions, it remains difficult to fine-tune these models for fine-

发现论文，激发创造

学习细粒度视觉描述的深度表示

本文提出了使用神经语言模型来克服零-shot视觉识别中属性的局限性, 并取得了在文本图像检索精度和零-shot分类准确率上的显著性提升。

May, 2016

GIT: 用于视觉和语言的生成图像到文本的变压器

本文设计和训练了一个生成式图像到文本的转换器——GIT，以统一图像/视频字幕和问答等视觉语言任务。使用简化的体系结构和扩大的预训练数据和模型规模，GIT在12个具有挑战性的基准测试中都取得了新的最佳表现，这些基准测试中有TextCaps、图像分类和场景文本识别等。

May, 2022

提升图像-文本预训练中的细粒度理解

我们介绍SPARC (SPARse Fine-grained Contrastive Alignment)，这是一种从图像-文本对中预训练更细粒度多模态表示的简单方法。SPARC结合了精细化的序列损失和对全局图像和文本嵌入进行对比的损失，以同时编码全局和局部信息。我们对这种方法进行了全面评估，并显示在依赖于粗粒度信息的图像级任务（如分类）以及依赖于细粒度信息的区域级任务（如检索、目标检测和分割）上改善了性能。此外，SPARC改善了模型的准确性和生成图像描述的能力。

Jan, 2024

Finer: 大规模视觉语言模型中细粒度视觉概念识别的研究与增强

最近在指导的大型视觉语言模型方面取得的进展，使得模型能够轻松生成高层次的基于图像的解释。然而，我们的工作揭示了这些模型在细粒度的视觉分类方面的缺陷，并且我们提出了一个多粒度属性为中心的评估基准，用于评估大型视觉语言模型的细粒度视觉理解能力并提供显著改进的可解释性。

Feb, 2024

多模态小样本类增量细粒度数据学习的简化方法

该研究提出了两个简单的模块来解决Vision-Language模型在少样本类增量学习方面的挑战，并在新引入的细粒度数据集上实验结果表明，相比基准模型平均提高了10个百分点，而所需的可训练参数少至8倍。

Mar, 2024

大型视觉语言模型生成的描述的独特性和准确性探究

该研究使用大规模视觉语言模型(LVLMs)来评估它们在识别相似对象和准确描述视觉特征方面的独特性和忠实度，并提出了文本检索增强分类(TRAC)框架以深入分析细粒度的视觉描述生成。研究结果表明，在生成细粒度描述方面，MiniGPT-4比其他两个模型表现更好。

Apr, 2024

图像智能描述技术研究与应用

通过精细图像描述训练视觉语言模型的框架和数据集的介绍，验证了其在数据质量和与先前工作的比较中的优势，并展示了模型在生成最接近原始图像的描述以及在多个数据集上的表现优势。

May, 2024

通过级联视觉语言模型提升细粒度图像分类

本研究介绍了CascadeVLM，一种创新的框架，通过有效地利用大型视觉-语言模型（LVLMs）内固有的精细知识，克服了以前基于CLIP的方法的限制。在各种细粒度图像数据集上的实验表明，CascadeVLM在Stanford Cars数据集上显著优于现有模型，达到了令人印象深刻的85.6%的零样本准确性。性能增益分析验证了LVLM对于CLIP不确定的复杂图像的更准确预测，从而提高了整体准确性。我们的框架为有效和高效的细粒度图像分类提供了VLM与LVLM的整体集成方法。

May, 2024

基于生成数据集的正则化训练：仅包含名称的视觉-语言模型转化

通过对生成图像进行微调，本文研究目的是解决在生成的数据集上微调以特定分类模型的视觉-语言模型时所面临的挑战，并提供两种正则化方法来克服实际图像与生成图像之间的领域差异。经过广泛的实验验证，所提出的分析和正则化技术有效减轻了一直被忽视的领域差异，并使得在生成图像上的训练达到了最先进的性能。

Jun, 2024

面向细粒度视觉识别的生成类提示学习

该研究解决了基础视觉-语言模型在细粒度分类任务中的表现不足以及跨域迁移学习的挑战。提出的生成类提示学习（GCPL）和对比多类提示学习（CoMPLe）方法，通过生成建模显著提升了类别嵌入的视觉语言协同，并在少量样本图像识别任务中表现优异，展现出显著的改进效果。

Sep, 2024