Sep, 2023

SAM-Deblur: 让分割任意事物提升图像去模糊

PDF
TL;DR提出 SAM-Deblur 框架，首次将 Segment Anything Model（SAM）的先验知识融入图像去模糊任务，通过预处理、生成结构先验和融合特征等三个阶段，在 RealBlurJ、ReloBlur 和 REDS 数据集上改进了 NAFNet 的 PSNR 分别为 0.05、0.96 和 7.03。
image deblurringprior knowledgesam-deblursegment anything modelmasked average pooling
发现论文，激发创造
  • RobustSAM: 在退化图像上鲁棒地分割任何物体

    RobustSAM 是一种改进的 Segment Anything Model (SAM) 方法，通过增强 SAM 在低质量图像上的性能，同时保持其可提示性和零样本泛化能力。其在各种分割任务和数据集上的广泛实验证实了其卓越性能，特别是在零样本条件下，在广泛的现实世界应用中具有巨大的潜力。

    Jun, 2024

  • DeSAM: 通用医学图像分割的分段解耦模型

    本文提出了一个基于深度学习技术的医学图像分割模型，该模型改进了 Segment Anything Model (SAM) 并提出了一个新的模型 ——decoupling SAM (DeSAM)，通过解耦 mask 的生成和 prompt 嵌入来提高在自动模式下的泛化能力，实验结果表明 DeSAM 方法比之前的最新领域泛化方法的 dice 分数平均提高了 8.96%（从 70.06% 到 79.02%），并且 DeSAM 方法可以在入门级 GPU 上进行训练。

    Jun, 2023

  • 个性化一次性分段模型

    本文提出了一种称为 PerSAM 的、无需训练的个性化方法，该方法首先通过位置先验定位目标概念，然后通过三种技术 - 目标引导注意力、目标语义提示和级联后处理在其他图像或视频中对其进行分割，有效地适应 SAM 的私人使用。此外，我们还提出了一种高效的单次微调变体，PerSAM-F，以缓解掩模的歧义。我们构建了一个新的分割数据集 PerSeg，并在具有竞争性的性能的视频对象分割上测试了我们的方法。

    May, 2023

  • PA-SAM：高质量图像分割的指示适配器 SAM

    通过引入一种新型的提示驱动适配器（PA-SAM）到 Segment Anything Model (SAM) 中，提高了原始 SAM 的分割掩模质量，通过在稀疏和密集提示级别上优化面罩解码器功能，从图像中提取详细信息，实验结果表明 PA-SAM 在高质量、零样本和开放集分割方面优于其他基于 SAM 的方法。

    Jan, 2024

  • SAM-PD: 通过提示去噪，在跟踪和分割视频中，SAM 能带我们走多远

    本文探讨了将 Segment Anything Model（SAM）应用于视频对象跟踪和分割任务的潜力，通过使用多种 prompt 和引入基于点的优化阶段，实现了在三个数据集上对比性能相当的视频对象 / 实例分割任务，该方法为基于 SAM 的后续应用赋予了跟踪能力。

    Mar, 2024

  • FocSAM: 深入研究分割任何物体中的聚焦对象

    FocSAM 通过 Dynamic Window Multi-head Self-Attention 和 Pixel-wise Dynamic ReLU 的优化来提高 Segment Anything Model (SAM) 在交互式分割方面的性能，使其与现有的分割质量最先进的方法相匹配，但只需使用该方法推理时间的约 5.6%。

    May, 2024

  • GoodSAM: 透过分段模型建立领域和能力差距，实现适应扭曲感知的全景语义分割

    本文提出了一种名为 GoodSAM 的新型框架，通过引入教师助理 (TA) 并融合 SAM 的集成 logits 来解决从 Segment Anything Model (SAM) 到学生模型的知识转移问题，同时提出了 Distortion-Aware Rectification (DAR) 模块和 Multi-level Knowledge Adaptation (MKA) 模块来处理全景图像的畸变问题并进行多级特征知识的有效传递，实验证明 GoodSAM 在两个基准测试上取得了较先进方法 + 3.75% 的平均交并比 (mIoU) 提升，并且我们最轻量级的模型仅有 3.7M 个参数却达到了与先进方法相媲美的性能。

    Mar, 2024

  • 黑盒定向对抗攻击 Segment Anything (SAM)

    该研究旨在对 SAM 进行有针对性的对抗攻击，提出了一种仅攻击图像编码器的简单且有效的方法，并提出了一种新的正则化损失以增强不同模型之间的特征传递性，通过增加对随机自然图像的特征占优势来进行黑盒对抗攻击。

    Oct, 2023

  • 稳定分段设定模型

    通过学习可变形偏移对图像特征进行采样来提高 Segment Anything Model (SAM) 在各种情况下的分割稳定性，并验证了该方法的有效性和优势，从而使其成为更加稳健的分割解决方案。

    Nov, 2023

  • BLO-SAM: 基于双层优化的防过拟合 SAM 微调

    通过基于双层优化的 BLO-SAM 方法，无需手动提示即可实现自动图像分割，解决了在特定对象分割和医学成像等任务中 Segment Anything Model （SAM）所遇到的困难，进一步提升了图像语义分割的性能。

    Feb, 2024