Jul, 2024

HRSAM：高效地在高分辨率图像中分割任何物体

PDF
TL;DR本研究提出了一种名为 HRSAM 的模型，通过整合 Flash Attention 和 Plain、Shifted 以及新提出的 Cycle-scan Window (PSCWin) attention 解决了高分辨率图像的高精度分割中的一些问题，并且进一步提出了 HRSAM++，通过采用多尺度策略进一步提升性能。实验结果表明，相比于现有方法，HRSAM 和 HRSAM++ 在交互式分割中取得了较好的效果，具有更低的延迟。
segment anything modelhrsamattentionhigh-precision segmentationlatency
发现论文，激发创造
  • FocSAM: 深入研究分割任何物体中的聚焦对象

    FocSAM 通过 Dynamic Window Multi-head Self-Attention 和 Pixel-wise Dynamic ReLU 的优化来提高 Segment Anything Model (SAM) 在交互式分割方面的性能，使其与现有的分割质量最先进的方法相匹配，但只需使用该方法推理时间的约 5.6%。

    May, 2024

  • Hi-SAM：基于层次化文本分割的 Segment Anything 模型融合

    使用 Segment Anything Model（SAM）为基础，本论文介绍了 Hi-SAM，一个利用 SAM 进行分层文本分割的统一模型，能够在四个层次（笔画、词、文本行和段落）上实现文本分割并进行布局分析。

    Jan, 2024

  • WSI-SAM: 多分辨率分割模型 (SAM) 用于组织病理学全切片图像

    通过使用多分辨率补丁，在保留原始提示驱动设计、高效性和零时适应性的同时，使用精确的对象分割功能增强了 SAM，解决了现有的医学 SAM 在全尺度图像的多尺度本质上并不适用的限制。

    Mar, 2024

  • 使用 Segment Anything 模型扩大遥感分割数据集的规模

    本研究提出 SAMRS，通过整合 SAM 和现有的遥感物体检测数据集以生成大规模遥感分割数据集，该数据集在大小上超过了现有的高分辨率遥感分割数据集。SAMRS 可用于语义分割、实例分割和目标检测等研究领域。同时，我们对 SAMRS 进行了全面的分析并希望它能促进遥感分割、特别是大规模模型预训练等方面的研究。

    May, 2023

  • 通过分层解码释放 SAM 在医疗适应上的潜力

    介绍了一种适用于医学图像的无提示适应性分割模型 H-SAM，并通过两阶段层次解码程序实现有效的细化调整，以提高其在医学图像分割中的性能。

    Mar, 2024

  • 快速分割任何物体

    本论文针对计算机视觉中处理高分辨率输入带来的高昂计算代价提出了使用基于 CNN 检测器结合实例分割进行图像分割的替代方案，实验结果表明该方法仅使用 SAM 作者发布的 1/50 数据集，便可在 50 倍的运行时速下实现与 SAM 方法基本相当的性能。

    Jun, 2023

  • BA-SAM：可扩展的偏置注意力掩码用于分割任何模型

    本文提出了 Scalable Bias-Mode Attention Mask（BA-SAM）解决图像分辨率变化对 Segment Anything Model (SAM) 的影响，并实现了零样本泛化能力。通过引入新的缩放因子和偏置模式注意力掩码，BA-SAM 在不改变结构的情况下，增强了模型对不同图像分辨率的适应性，同时在零样本学习和微调中取得了显著的性能提升。

    Jan, 2024

  • RobustSAM: 在退化图像上鲁棒地分割任何物体

    RobustSAM 是一种改进的 Segment Anything Model (SAM) 方法，通过增强 SAM 在低质量图像上的性能，同时保持其可提示性和零样本泛化能力。其在各种分割任务和数据集上的广泛实验证实了其卓越性能，特别是在零样本条件下，在广泛的现实世界应用中具有巨大的潜力。

    Jun, 2024

  • RSAM-Seg：一种基于 SAM 和先验知识集成的遥感图像语义分割方法

    由于高分辨率遥感卫星的发展，遥感相关研究工作获得了极大的便利。SAM 引入了一种普适的预训练模型用于图像分割任务，但是直接应用于遥感图像分割任务效果欠佳。为此，我们提出了 RSAM-Seg，即在 SAM 的基础上进行了适应性修改，消除了对手动干预提供提示的需求。在 SAM 的编码器部分的多头注意力块中，我们提出了 Adapter-Scale 和 Adapter-Feature 模块，它们旨在将高频图像信息和图像嵌入特征融入生成的图像引导提示中。在包括云检测、场地监测、建筑物检测和道路制图任务的四个不同遥感场景上进行了实验证明，RSAM-Seg 不仅改善了原始 SAM 和 U-Net 在云、建筑物、场地和道路场景中的效果，还突出了其作为辅助注释方法的潜力，可以识别某些数据集的真实值中的缺失区域。此外，在少样本情况下的表现也值得称赞，凸显了其在处理有限数据集时的潜力。

    Feb, 2024

  • 高质量分割任何事物

    提出了一种名为 HQ-SAM 的模型，该模型在保持 Segment Anything Model（SAM）原始 zero-shot 设计，高效性和推广性的同时，赋予 SAM 精确切分任何对象的能力，通过深度融合输入的不同特征并引入可学习的高质量输出 Token，有效提高了遮罩细节。在多种下游任务的 9 个不同分割数据集中展示 HQ-SAM 的有效性，其中有 7 个采用了零 - shot 转移协议进行评估。

    Jun, 2023