计算机视觉中背景学习的灵活视觉提示

Dec, 2023

计算机视觉中背景学习的灵活视觉提示

Flexible visual prompts for in-context learning in computer vision

Thomas Foster, Ioana Croitoru, Robert Dorfman, Christoffer Edlund, Thomas Varsavsky...

TL;DR通过对现代视频对象分割技术的可视化上下文学习方法进行改进，我们提出了一种用于图像分割的上下文学习方法，并通过在支持集大小和不同分割数据集上进行评估，验证了该方法在效果上超越现有技术，并在包含训练集未遇到的类别的数据上表现出色，另外我们还提出了一种支持集选择技术，通过选择最相关的图像来提高各种测试方法的性能，而无需进行额外的训练或提示调整。

Abstract

In this work, we address in-context learning (ICL) for the task of image segmentation, introducing a novel approach that adapts a modern Video Object Segmentation (VOS) technique for visual in-context learning. T

in-context learning image segmentation adaptation support set selection performance

发现论文，激发创造

探索提高视觉上下文学习效果的因素

该论文提出了一个简单框架 prompt-SelF，以增强视觉上下文学习的推理性能。通过实验证明 prompt selection 和 prompt fusion 是影响视觉上下文学习性能的主要因素之一。在单物体分割和检测任务上，prompt-SelF 在 1-shot 分割方面优于基于元学习的 OSLSM，展示了视觉上下文学习的巨大潜力。

Apr, 2023

视觉背景提示

本文介绍了一种通用的视觉上下文提示框架，以支持涂鸦、方框和点等各种提示类型，并进一步改进以支持任意数量的上下文。通过在 COCO 和 SA-1B 上进行联合训练，我们的模型在 COCO 上达到 57.7 PQ，在 ADE20K 上达到 23.2 PQ。

Nov, 2023

简化超声医学图像分割的视觉上下文学习与遮罩图像模型结合的简单框架

新的简单视觉上下文学习（ICL）方法 SimICL 结合被设计用于自监督学习的屏蔽图像建模（MIM）对配对图像进行视觉 ICL，成功地在具有有限注释的腕部超声数据集上验证，对于骨骼结构分割取得了非常高的 Dice 系数（DC）和 Jaccard 指数（IoU），并能减少图像标注需要的人工专家时间，提高超声图像分析中人工智能辅助的实际应用。

Feb, 2024

大规模视觉语言模型的视域内学习

通过引入一种新颖的视觉上下文学习方法（VICL），包括视觉演示检索、目标导向图像摘要和目标导向演示组合，解决了大型视觉语言模型（LVLMs）中上下文学习的挑战，提高了效果，并且进一步调查了演示文本长度和位置对 LVLM 的影响，展示了 ICL 复位特定模型知识的潜力。

Feb, 2024

全球最佳视觉上下文学习提示选择

通过提出一种新颖的上下文示例选择框架 Partial2Global，使用基于 transformer 的列表式排序器和一致性感知的排序聚合器，本研究在前景分割、单对象检测和图像上色等任务上验证了其有效性，并与其他方法进行了比较，提出了新的科学研究前沿。

May, 2024

SegICL: 一个用于增强医学影像分割的通用上下文学习框架

通过 In-Context Learning (ICL) 实现的 SegICL 是一种新颖的方法，它能够在无需训练或微调的情况下，利用文本引导分割和上下文学习来应对在分布之外的数据模态和任务上的新分割任务。实验结果表明，SegICL 能够有效地利用上下文信息来处理新的分割任务，并在在分布和分布之外的任务上展示出可比较的分割性能。

Mar, 2024

走向更统一的上下文视觉理解

我们提出了一种新的具有多模态输出功能的视觉理解的上下文学习框架，通过将文本和视觉提示量化和嵌入到统一的表示空间中，并采用仅具有解码器的稀疏 Transformer 架构在其上执行生成建模。实验结果表明，我们的模型在统一的多模态管线中实现了与专门模型和先前上下文学习基准模型相竞争的性能。总体而言，我们的研究在统一多模态上下文学习方面迈出了进一步的一步。

Dec, 2023

面向视觉与语言模型的多模态上下文学习

通过对一些最先进的 VLM（Visual Language Model）进行分析，我们发现它们在执行 ICL（In-Context Learning）指令时存在一定的不足。为了验证这个猜想，我们提出了一种简单但令人惊讶地有效的策略，通过扩展一个常见的 VLM 对齐框架，实现 ICL 支持、方法和课程设置。我们探讨、分析并提供了对有效数据混合的见解，从而显著提升了 21.03% 的 ICL 表现（平均 11.3%），超过了最强 VLM 基线和多种 ICL 基准，并为 VLM 的 ICL 评估贡献了新的基准，并讨论了它们相对于现有技术的优势。

Mar, 2024

指示我更多！用于视觉背景学习的随机提示

通过引入可学习的扰动（提示），我们提出了一种名为 Instruct Me More（InMeMo）的方法，以增强视觉上下文学习的性能，对前景分割和单物体检测任务的 mIoU 分数分别提高了 7.35 和 15.13。

Nov, 2023

视频对象分割的学习策略

该研究提出了一种新的、自动化的视频物体分割方法，通过集成一种可区分的少量样本学习模块，提高了分割精度，实现了当前 YouTube-VOS 2018 数据集的最新最佳分数，并使相对改进率达到了 2.6％以上。

Mar, 2020