利用大型语言模型作为任务规划者，视觉模型作为工具，通过观察支持图像和使用语境学习指导大型语言模型，利用其总结和推理能力对查询图像进行分类和分割，从而在无需训练的情况下解决了少样本图像分类和分割问题，并在 Pascal-5i 数据集上取得了最先进的性能。

Nov, 2023

本文介绍了少量样本分类和分割的集成任务 (FS-CS)，将两个常规的少量样本学习问题广义化到具有任意图像对的更现实的情境。提出了用于 FS-CS 的集成少量样本学习 (iFSL) 框架，该框架训练学习者构建类别化的前景图，用于多标签分类和像素级分割。同时开发了一个有效的 iFSL 模型，称为 ASNet，该模型利用深层语义相关性和全局自我注意力来生成可靠的前景图。结果表明，所提出的方法在 FS-CS 任务上表现良好，并在标准的少量样本分割基准上取得了最优结果。

Mar, 2022

通过语言信息进行语言指导的少样本语义分割，使用视觉 - 语言预训练模型和遮罩优化来生成高质量伪语义遮罩，引入分布式原型监督方法和互补相关匹配模块来指导模型挖掘支持和查询图像的精确语义关系。在两个基准数据集上的实验表明，我们的方法为语言指导的少样本语义分割建立了新的基准，并达到了与最近的视觉指导方法竞争的结果。

Nov, 2023

该研究提出了两个简单的模块来解决 Vision-Language 模型在少样本类增量学习方面的挑战，并在新引入的细粒度数据集上实验结果表明，相比基准模型平均提高了 10 个百分点，而所需的可训练参数少至 8 倍。

Mar, 2024

本文提出了一种新的无图像分割任务，旨在通过视觉语言预训练模型，生成基于语义类别的人工图像分割对，并通过对这些人工对的学习，让预训练模型适应于分割任务，该方法在实验中表现良好。

Mar, 2023

本文介绍了一种对称的对齐机制，用于学习从极少的例子中获取更广义的视觉概念的方法。实验结果表明，该方法是通用的，并提供了一个强大的基准。

Oct, 2022

本报告介绍了一种增强的方法来解决基础性少样本物体检测任务，利用视觉语言模型 (VLM) 进行物体检测。为解决 VLM 可能遇到的与目标概念不一致的问题，本研究提出了 VLM + 框架，把多模态大型语言模型 (MM-LLM) 集成到 VLM 中。通过 MM-LLM 生成每个类别的一系列参考表达式，根据 VLM 的预测和给定的注释，选取与每个类别最大 IoU 匹配的最佳参考表达式，并生成伪标签来细调 VLM。该方法在最终测试中达到了 32.56 mAP。

Jun, 2024

本文提出了一种名为 VQS 的方法，将 COCO 数据集的实例分割与 VQA 数据集的问答进行连接，从而为视觉和语言建模提供更多有效的支持，包括 VQA 的监督式关注和一种新的基于问题的语义分割任务。

Aug, 2017

本文提出了一种利用视觉 - 语言模型 CLIP 生成粗略掩模并迭代互相调整支持和查询图片的掩模预测的框架，实验结果表明该方法不仅在 PASCAL-5i 和 COCO-20i 数据集上优于最先进的弱监督方法，还能够取得与最近的有监督方法相当甚至更好的结果，并且具有出色的野外图像和非常规类别的泛化能力。

Mar, 2023

SemiVL 是一种结合了视觉 - 语言模型的丰富先验知识与半监督语义分割的方法，通过空间微调策略和语言引导解码器的设计，以及提供类别定义的语言指导，实现了更好的语义决策边界。在 4 个语义分割数据集上进行评估时，SemiVL 明显优于以前的半监督方法，例如，在带有 232 个已注释图像的 COCO 上，mIoU 提高了 + 13.5，在带有 92 个标签的 Pascal VOC 上，mIoU 提高了 + 6.1。

Nov, 2023