Dec, 2023

通过加权适应关键标记来分段任何事件

PDF
TL;DR在本研究中，我们深入探讨了将 Segment Anything Models（SAMs）与事件数据集成的微妙挑战，以实现稳健和通用的物体分割。我们提出了一种多尺度特征蒸馏方法，通过优化来自事件数据的令牌嵌入与其 RGB 图像对应物之间的对齐，从而保留和增强了整体架构的稳健性。通过对不同数据集的广泛实验，证明了所提出的蒸馏方法的有效性。
发现论文，激发创造
  • Segment Anything Model 是学习局部特征的好教师

    SAMFeat 通过引入 SAM（segment anything model）作为教师模型，利用像素级对齐关系和语义信息，改进本地特征描述和检测的性能，展现了在不同任务中的优越性能。

    Sep, 2023

  • 分割和标注任何东西

    提出了一种方法，能够高效地为 Segment Anything Model (SAM) 添加生成区域描述的功能，并且通过引入轻量级的基于查询的特征混合器使区域特征与语言模型的嵌入空间对齐，以便进行后续的描述生成。该方法具有小的可训练参数数量，计算量少、内存使用少和通信带宽少的特点，因此训练速度快且可扩展。通过先在目标检测和分割任务上进行弱监督预训练以解决区域描述数据稀缺问题。该方法的优越性得到了广泛的实验证明，并对每个设计选择进行了验证。本研究在扩展区域描述数据和探索为 SAM 增加区域语义方面具有重要意义。

    Dec, 2023

  • 个性化一次性分段模型

    本文提出了一种称为 PerSAM 的、无需训练的个性化方法，该方法首先通过位置先验定位目标概念，然后通过三种技术 - 目标引导注意力、目标语义提示和级联后处理在其他图像或视频中对其进行分割，有效地适应 SAM 的私人使用。此外，我们还提出了一种高效的单次微调变体，PerSAM-F，以缓解掩模的歧义。我们构建了一个新的分割数据集 PerSeg，并在具有竞争性的性能的视频对象分割上测试了我们的方法。

    May, 2023

  • GoodSAM: 透过分段模型建立领域和能力差距，实现适应扭曲感知的全景语义分割

    本文提出了一种名为 GoodSAM 的新型框架，通过引入教师助理 (TA) 并融合 SAM 的集成 logits 来解决从 Segment Anything Model (SAM) 到学生模型的知识转移问题，同时提出了 Distortion-Aware Rectification (DAR) 模块和 Multi-level Knowledge Adaptation (MKA) 模块来处理全景图像的畸变问题并进行多级特征知识的有效传递，实验证明 GoodSAM 在两个基准测试上取得了较先进方法 + 3.75% 的平均交并比 (mIoU) 提升，并且我们最轻量级的模型仅有 3.7M 个参数却达到了与先进方法相媲美的性能。

    Mar, 2024

  • PP-SAM：对肠息肉分割的段落任何模型的鲁棒适应性的扰动提示

    我们提出了一种强大的微调技术，PP-SAM，通过有限的图像使 SAM 适应息肉分割任务，实验结果显示，在推理过程中使用 50 像素扰动的 1-shot、5-shot 和 10-shot PP-SAM 的 DICE 分数分别超过了最新的多项式分割方法 26%、7% 和 5%，推动了 PP-SAM 在其他具有有限样本的医学成像任务中的广泛适用性。

    May, 2024

  • 任意物体的分割及其点追踪

    本文介绍了 SAM-PT 方法，将 SAM 方法扩展至跟踪和分段动态视频中的任何内容，利用强健的和稀疏的点选择和传播技术进行 mask 的生成，并在 DAVIS、YouTube-VOS 和 MOSE 等流行的视频对象分割基准中展示 SAM 基于分割跟踪器可以产生强的零度成像性能。

    Jul, 2023

  • 高质量分割任何事物

    提出了一种名为 HQ-SAM 的模型，该模型在保持 Segment Anything Model（SAM）原始 zero-shot 设计，高效性和推广性的同时，赋予 SAM 精确切分任何对象的能力，通过深度融合输入的不同特征并引入可学习的高质量输出 Token，有效提高了遮罩细节。在多种下游任务的 9 个不同分割数据集中展示 HQ-SAM 的有效性，其中有 7 个采用了零 - shot 转移协议进行评估。

    Jun, 2023

  • 从空间中分割任何物体？

    研究了针对视觉任务开发的第一个基础模型，称为 Segment Anything Model（SAM）。SAM 可以基于便宜的输入提示，如一个或多个点、边界框或掩码，在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性，并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而，作者还研究了 SAM 在航空图像问题中的表现，他们发现虽然 SAM 在航空图像上通常表现良好，但在某些情况下由于航空图像和目标对象的独特特征而失败。

    Apr, 2023

  • 通过弱监督适应提高分割基础模型在分布变化下的泛化能力

    基于自训练的策略，通过锚点规范化和低秩微调，提升了图像分割基础模型的适应性和计算效率，并在多个下游分割任务中表现出优于预训练模型 SAM 和最先进的领域自适应方法的性能。

    Dec, 2023

  • 自适应低秩适应性分区对显著目标检测的改进

    基于深度学习中内在的低秩结构，我们提出了一种创新的方法，通过自适应微调 Segment Anything Model (SAM) 来实现显著目标检测，通过在五个具有挑战性的 RGB 基准数据集上进行全面的定性和定量评估，证明了我们方法的卓越性能，超越了最先进的方法。

    Aug, 2023