CVPRMar, 2024

GoodSAM: 透过分段模型建立领域和能力差距，实现适应扭曲感知的全景语义分割

PDF
TL;DR本文提出了一种名为 GoodSAM 的新型框架，通过引入教师助理 (TA) 并融合 SAM 的集成 logits 来解决从 Segment Anything Model (SAM) 到学生模型的知识转移问题，同时提出了 Distortion-Aware Rectification (DAR) 模块和 Multi-level Knowledge Adaptation (MKA) 模块来处理全景图像的畸变问题并进行多级特征知识的有效传递，实验证明 GoodSAM 在两个基准测试上取得了较先进方法 + 3.75% 的平均交并比 (mIoU) 提升，并且我们最轻量级的模型仅有 3.7M 个参数却达到了与先进方法相媲美的性能。
knowledge transfersemantic segmentationpanoramic imagesensemble logitsdomain adaptation
发现论文，激发创造
  • PosSAM: 全景开放词汇片段检测

    提出了一种开放词汇的全景分割模型，通过端到端框架有机地结合了 Segment Anything Model (SAM) 和视觉 - 语言 CLIP 模型的优势。通过使用局部判别汇聚模块（LDP），克服了 SAM 的局限性，并引入了面向掩膜的选择集成算法（MASE）来自适应地提高生成掩膜的质量，从而在多个数据集上展示了很强的泛化性能，并且在开放词汇全景分割方法方面取得了显著的改进。

    Mar, 2024

  • 基于大视觉模型的自引导远感图像少样本语义分割

    本研究介绍了一种用于自动化少样本语义分割的结构化框架，利用 Segment Anything Model（SAM）模型，并借助先前引导的掩模生成粗略像素级提示，以获得更高效的语义可辨别分割结果，实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。

    Nov, 2023

  • 提升分段通用模型以实现开放词汇学习

    本研究旨在无缝地将 Segment Anything Model (SAM) 与开放词汇目标检测器集成在一起，引入了 SideFormer 模块和开放区域建议网络 (Open-set RPN) 等创新方法，以提升 SAM 在检测任意对象和开放词汇识别方面的性能。Sambor 在 COCO 和 LVIS 等基准测试中展现出卓越的零样本性能，并与之前的最先进方法竞争力十足，旨在为 SAM 赋予识别多样化对象类别和促进视觉基础模型的开放词汇学习提供有意义的努力。

    Dec, 2023

  • DeSAM: 通用医学图像分割的分段解耦模型

    本文提出了一个基于深度学习技术的医学图像分割模型，该模型改进了 Segment Anything Model (SAM) 并提出了一个新的模型 ——decoupling SAM (DeSAM)，通过解耦 mask 的生成和 prompt 嵌入来提高在自动模式下的泛化能力，实验结果表明 DeSAM 方法比之前的最新领域泛化方法的 dice 分数平均提高了 8.96%（从 70.06% 到 79.02%），并且 DeSAM 方法可以在入门级 GPU 上进行训练。

    Jun, 2023

  • 使用大规模数据集 SATIR 进行知识蒸馏学习热红外图像中的任意目标分割

    该研究提出一种基于 Segment Anything Model（SAM）的预训练框架，利用 SAM 对热成像图像进行伪标签生成，从而提高特定类别的分割结果精度，为处理特殊领域的问题提供了一种有效的解决方案，并生成了一个包含 100,000 多个像素注释标签的大规模热红外分割数据集。

    Apr, 2023

  • Segment Anything Model 是学习局部特征的好教师

    SAMFeat 通过引入 SAM（segment anything model）作为教师模型，利用像素级对齐关系和语义信息，改进本地特征描述和检测的性能，展现了在不同任务中的优越性能。

    Sep, 2023

  • 遥感应用中的分段任意物模型 (SAM)：从零到一次拍摄

    本研究旨在将 Meta AI 的创新图像分割模型 Segment Anything Model（SAM）应用于遥感图像分析领域，特别是处理来自不同地理背景的航空和轨道影像，实现 SAM 在遥感影像处理中的潜力。

    Jun, 2023

  • RobustSAM: 在退化图像上鲁棒地分割任何物体

    RobustSAM 是一种改进的 Segment Anything Model (SAM) 方法，通过增强 SAM 在低质量图像上的性能，同时保持其可提示性和零样本泛化能力。其在各种分割任务和数据集上的广泛实验证实了其卓越性能，特别是在零样本条件下，在广泛的现实世界应用中具有巨大的潜力。

    Jun, 2024

  • 任务感知的段落适应性低秩模型

    本文介绍了一种新的方法 TA-LoRA，将 Segment Anything Model (SAM) 用作多任务学习的基础模型，在多个下游任务中显著提高了 mSAM 的性能。

    Mar, 2024

  • 分段大杂烩遇上语义交流

    本文提出了一种基于 Segment Anything Model（SAM）的语义编码方法，SAM 作为一种可提示的图像分割模型，在不需要显示训练或具体领域知识的情况下能够完成零样本分割任务，通过应用 SAM 的分割能力和轻量级的神经网络架构进行语义编码，实现了对图像重建质量的提高和通信开销的降低。

    Jun, 2023