Jun, 2023

VPUFormer: 交互式图像分割的视觉提示统一变压器

PDF
TL;DR该论文提出了一个简单但高效的视觉提示统一变压器，利用更深入的交互来提高图像分割性能，并使用高斯映射生成一个统一的一维向量来捕获用户的意图，并利用用户反馈逐渐改进候选语义特征，从而逐步提高图像分割性能。
visual promptsinteractive image segmentationvisual prompt unified transformersegmentation performanceuser feedback
发现论文，激发创造
  • EPCFormer：用于通用参考视频目标分割的表达提示协作转换器

    基于音频和文本之间的语义等价理解和音频、文本、视频特征之间的深度交互，我们提出了一种基于表达协作 Transformer（EPCFormer）的通用架构，并引入了表达对齐机制和表达 - 视觉注意机制，以实现音频和文本对象之间的高准确定位和分割，从而在两个相关任务上取得了最新的结果。

    Aug, 2023

  • 在像素级别释放视觉提示的威力

    本文提出一种简单且有效的视觉提示方法，用于将预训练模型适应下游识别任务。并重新引入了两种常用技术，即输入多样性和梯度归一化。该方法在 12 个流行的分类数据集上创造了 82.8％的平均准确率的记录，并提供了代码。

    Dec, 2022

  • UniVS：具备提示查询的统一通用视频分割

    通过使用提示作为查询，我们提出了一种新颖的统一视频分割 (UniVS) 架构，该架构平均目标的前几帧的提示特征作为初始查询来明确解码掩码，并在掩码解码器中引入了一种目标导向的提示交叉注意力层，以将提示特征集成到内存池中。通过将先前帧中的实体的预测掩码作为其视觉提示，UniVS 将不同的视频分割任务转化为提示引导的目标分割，消除了启发式的帧间匹配过程。我们的框架不仅统一了不同的视频分割任务，还保证在不同的场景中实现了通用的训练和测试，确保了稳健的性能。UniVS 在 10 个具有挑战性的视频分割基准上展现了出色的性能和通用性，涵盖了视频实例、语义、全景、物体和引用分割任务。

    Feb, 2024

  • 使用文本和图像提示进行图像分割

    本文提出了一种基于文本或图像提示产生图像分割结果的模型，使用 CLIP 模型并引入 Transformer-based decoder 实现了对于任意提示的图像分割。经过对短语切割数据集进行扩展训练，该模型可以生成二进制的分割结果。我们发现该模型不仅可适应于三种标准的分割任务，而且可以适应于任何文本或图像提示的二进制分割任务。

    Dec, 2021

  • 视觉背景提示

    本文介绍了一种通用的视觉上下文提示框架，以支持涂鸦、方框和点等各种提示类型，并进一步改进以支持任意数量的上下文。通过在 COCO 和 SA-1B 上进行联合训练，我们的模型在 COCO 上达到 57.7 PQ，在 ADE20K 上达到 23.2 PQ。

    Nov, 2023

  • 构建大型多模态模型理解任意视觉提示

    该研究介绍了一种新颖的多模态模型，可以解码任意视觉提示，通过在 RGB 图像上直接叠加视觉标记的方式，实现了对特定区域的理解，在区域理解任务上取得了最先进的性能，并提出了 ViP-Bench，一个综合评估模型在理解多个维度上的视觉提示能力的基准，为未来的研究提供了可能。

    Dec, 2023

  • 通用前景分割的显式视觉提示

    该论文提出了一个基于预训练及显式视觉提示（EVP）的统一框架，用于多个前景分割任务，其性能优于全调参及其他节约参数细调的方法，并展示了该方法在不同架构、预训练权重和任务上的可扩展性。

    May, 2023

  • 视觉属性提示学习用于逐步预测轻度认知衰退

    利用视觉属性提示学习的转换器和提示微调来提取和融合多模态特征，有效地利用脑成像数据和临床信息，提高渐进性轻度认知障碍的诊断准确性。

    Oct, 2023

  • 医学视觉引导（MVP）：一种用于多功能和高质量医学图像分割的统一框架

    准确分割病变区域对于各种疾病的临床诊断和治疗至关重要。本研究提出了一种新颖的医学视觉提示 (MVP) 框架，借鉴了自然语言处理 (NLP) 的预训练和提示概念，通过整合 SPGP、IEGP 和 AAGP 三个关键组件，使得分割网络更好地学习形状提示信息并实现不同任务之间的相互学习，实验结果表明此方法在各种具有挑战性的医学图像任务中表现优越。

    Apr, 2024

  • 通过多实例视觉提示生成器增强多模态大语言模型以实现视觉表征丰富化

    本研究探讨了多模态大型语言模型的性能，通过利用视觉适配器将视觉表示与语言模型相结合，在多个视觉语言任务中取得了最先进的表现。研究还提出了一种通用组件，名为多示例视觉提示生成器（MIVPG），通过利用图像或样本相同的补丁之间的实例相关性，将丰富的视觉表示合并到语言模型中。对来自不同场景的三个公共视觉 - 语言数据集进行定量评估，结果表明所提出的 MIVPG 可以改善主要的视觉 - 语言任务中的 Q-former 模型。

    Jun, 2024