广义少样本分割的视觉引导：多尺度方法

CVPRApr, 2024

广义少样本分割的视觉引导：多尺度方法

Visual Prompting for Generalized Few-shot Segmentation: A Multi-scale Approach

Mir Rayat Imtiaz Hossain, Mennatullah Siam, Leonid Sigal, James J. Little

TL;DR通过使用学习到的视觉提示，我们的工作研究了在少样本情况下，通过对 Transformer 解码器进行提示，来提高普适少样本分割（GFSS）任务的效果。我们提出了一种利用少量样本学习视觉提示的方法，通过这些学习到的视觉提示，我们可以对多尺度 Transformer 解码器进行提示，以便实现准确的密集预测。此外，我们引入了一种单向因果关注机制，用于连接通过少样本学习到的新提示和通过大量数据学习到的基础提示，从而提升新提示的质量而不损害基础类别的性能。总体而言，这种提示形式帮助我们在两个不同的基准数据集上实现了 GFSS 的最先进性能：COCO-$20^i$ 和 Pascal-$5^i$，而无需进行测试时间的优化或传导。此外，我们还使用未标记的测试数据进行测试时间的优化，以改进这些视觉提示，我们称之为传导提示调优（transductive prompt tuning）。

Abstract

The emergence of attention-based transformer models has led to their extensive use in various tasks, due to their superior generalization and transfer properties. Recent research has demonstrated that such models, when prompted appropriately, are excellent for →

attention-based transformer models few-shot inference dense prediction tasks visual prompts generalized few-shot segmentation

发现论文，激发创造

遥感领域少样本语义分割的可学习提示

通过使用 SegGPT 作为基础模型，分别为每个新类别使用可学习的提示语进行预测，并通过图像修复任务解决遥感领域中存在的对象大小不一致性和补丁边界的不连续性问题，同时利用图像嵌入的相似性搜索来选择提示语和减少误报预测，实验结果表明我们的方法将简单微调的 SegGPT 在 Few-shot OpenEarthMap 数据集验证集上的加权 mIoU 从 15.96 提升到 35.08。

Apr, 2024

生成式迁移学习的视觉提示调整

本文探讨了基于视觉转换器（vision transformers）进行生成性知识转移的方法，通过引入可学习的提醒（prompt）标记和设计，成功地实现了良好的图像生成质量和知识转移。

Oct, 2022

细粒度视觉提示

本文介绍了一种新的零样本学习框架，Fine-Grained Visual Prompting（FGVP），通过使用精确的掩码注释来改进视觉提示设计，并展示了在不同的基准测试上均优于传统方法的性能表现。

Jun, 2023

视觉背景提示

本文介绍了一种通用的视觉上下文提示框架，以支持涂鸦、方框和点等各种提示类型，并进一步改进以支持任意数量的上下文。通过在 COCO 和 SA-1B 上进行联合训练，我们的模型在 COCO 上达到 57.7 PQ，在 ADE20K 上达到 23.2 PQ。

Nov, 2023

引导视觉转换器的视觉提示学习

通过在输入图像中引入视觉提示信息，本研究旨在为视觉变换器模型设计学习视觉提示，以引导其注意力集中在图像的特定区域，通过自监督学习的方式进行优化，实验结果表明该优化策略在各种预训练视觉编码器中的效果显著。

Jun, 2024

基于提示的 Transformer 模型调参用于多中心医学图像分割

本文提出了一种基于 prompts 的微调策略，将预训练的 transformer-based 分割模型适应于新的医疗中心数据，以实现医疗图像分割，不仅提升了在新医疗中心数据上的表现，同时也显著降低了细调预训练模型的计算和时间成本。

May, 2023

小样本图像识别的语义提示

该研究提出了一种基于语义提示的适应性视觉特征提取方法，通过在空间和通道维度插入语义提示来提高视觉特征提取器的处理能力，从而在极少量的支持样本下，实现更好的类别特定特征捕捉和更广泛的图像表示。

Mar, 2023

使用文本和图像提示进行图像分割

本文提出了一种基于文本或图像提示产生图像分割结果的模型，使用 CLIP 模型并引入 Transformer-based decoder 实现了对于任意提示的图像分割。经过对短语切割数据集进行扩展训练，该模型可以生成二进制的分割结果。我们发现该模型不仅可适应于三种标准的分割任务，而且可以适应于任何文本或图像提示的二进制分割任务。

Dec, 2021

在像素级别释放视觉提示的威力

本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。

Dec, 2022

多模式提示下的零备和少备视频问答

近期的视觉 - 语言模型主要面临有限数据下的过拟合、灾难性遗忘以及视觉与语言之间的跨模态差距等挑战，本研究引入了一种参数高效的方法来解决这些问题，通过结合多模态提示学习和基于 Transformer 的映射网络，在预训练模型的冻结状态下实现。在几个视频问答基准测试中，我们的实验结果证明了我们的方法在性能和参数效率方面在零样本和少样本设置下的优越性。我们的代码可以通过该 https 网址获得。

Sep, 2023