Dec, 2023

EdgeSAM: 基于提示的环路蒸馏技术用于 SAM 的设备内部部署

PDF
TL;DREdgeSAM 是 Segment Anything Model（SAM）的一种加速变体，经过优化以在边缘设备上高效执行而不牺牲性能。该方法通过将原始的 ViT-based SAM 图像编码器精炼为纯 CNN-based 架构，更适合于边缘设备。我们仔细评估了各种精炼策略，并证明了任务不相关的编码器精炼未能充分捕捉 SAM 所体现的全部知识。为了克服这一瓶颈，我们将提示编码器和掩码解码器都纳入了精炼过程中，并使用盒状和点状提示，以使精炼模型可以准确捕捉用户输入和掩码生成之间的复杂动态。为了减少点状提示精炼带来的数据集偏差问题，我们在编码器中集成了一个轻量级模块。EdgeSAM 相比原始 SAM 提速了 40 倍，并且在部署于边缘设备时比 MobileSAM 快 14 倍，同时在 COCO 和 LVIS 上提高了 2.3 和 3.2 的平均交并比（mIoUs）。它还是第一个可以在 iPhone 14 上以超过 30 FPS 运行的 SAM 变体。代码和模型可在此 https URL 获取。
edgesamsegment anything modeldistillation strategiescnn-based architectureedge devices
发现论文，激发创造
  • 面向移动应用的轻量级 SAM：更快的分割任何物体

    该论文介绍了一种名为 MobileSAM 的轻量级 SAM 模型，其将重量级图像编码器替换为轻量级图像编码器，并且使用解耦蒸馏技术来训练模型，以便在移动设备上使用，相对于 FastSAM，MobileSAM 模型可缩小 7 倍且速度快 4 倍。

    Jun, 2023

  • TinySAM: 高效细分任意模型的突破

    提出了一种 TinySAM 模型，通过知识蒸馏、后训练量化和分层分割策略，在保持零样本性能的同时大幅度减少了计算成本，进一步推动了高效分割任务的发展。

    Dec, 2023

  • AutoSAM：通过重载提示编码器将 SAM 应用于医学图像

    本文提出的方法通过使用编码器代替条件图像，在未经过进一步的微调的情况下，使用与多种医学影像和视频基准测试上的最新结果来改进 recently introduced Segment Anything Model (SAM) 的能力，并使用曲测解调制网络将其解码为遮罩。

    Jun, 2023

  • 快速分割任何物体

    本论文针对计算机视觉中处理高分辨率输入带来的高昂计算代价提出了使用基于 CNN 检测器结合实例分割进行图像分割的替代方案，实验结果表明该方法仅使用 SAM 作者发布的 1/50 数据集，便可在 50 倍的运行时速下实现与 SAM 方法基本相当的性能。

    Jun, 2023

  • PA-SAM：高质量图像分割的指示适配器 SAM

    通过引入一种新型的提示驱动适配器（PA-SAM）到 Segment Anything Model (SAM) 中，提高了原始 SAM 的分割掩模质量，通过在稀疏和密集提示级别上优化面罩解码器功能，从图像中提取详细信息，实验结果表明 PA-SAM 在高质量、零样本和开放集分割方面优于其他基于 SAM 的方法。

    Jan, 2024

  • EfficientViT-SAM：高效的无损性能 Segment Anything 模型

    我们提出了 EfficientViT-SAM，这是一种新的快速分段任意模型系列，通过保留 SAM 的轻量级提示编码器和屏蔽解码器，以 EfficientViT 替代了较重的图像编码器。通过从 SAM-ViT-H 图像编码器到 EfficientViT 的知识蒸馏进行训练，并在 SA-1B 数据集上进行端到端训练，EfficientViT-SAM 在不损失性能的情况下，在 A100 GPU 上的 TensorRT 加速能够传递 48.9 倍的速度提升。我们的代码和预训练模型已在此 https URL 发布。

    Feb, 2024

  • MaskSAM：面向医学图像分割的自动提示 SAM 与掩码分类

    提出了 MaskSAM，这是一种适用于医学图像分割的新型无需提示的 SAM 适应框架，通过与 SAM 中的图像编码器结合设计了一个提示生成器，生成一组辅助分类器令牌、辅助二进制掩模和辅助边界框，以解决额外提示的要求，同时利用 3D 深度卷积适配器和 3D 深度 MLP 适配器使预训练的 2D SAM 模型提取 3D 信息并适应 3D 医学图像。我们的方法在 AMOS2022 上取得了最先进的性能，Dice 系数为 90.52%，相比 nnUNet 提高了 2.7%。在 ACDC 和 Synapse 数据集上，我们的方法分别超过了 nnUNet 1.7% 和 1.0%。

    Mar, 2024

  • 0.1% 数据高效切割

    SlimSAM 是一种新型的 SAM 压缩方法，通过高效地重用预训练的 SAM，采用统一的修剪 - 蒸馏框架，创新的交替瘦身策略以及新颖的无标签修剪准则，以显著降低训练成本并在性能上取得重大改进。

    Dec, 2023

  • SAM-PD: 通过提示去噪，在跟踪和分割视频中，SAM 能带我们走多远

    本文探讨了将 Segment Anything Model（SAM）应用于视频对象跟踪和分割任务的潜力，通过使用多种 prompt 和引入基于点的优化阶段，实现了在三个数据集上对比性能相当的视频对象 / 实例分割任务，该方法为基于 SAM 的后续应用赋予了跟踪能力。

    Mar, 2024

  • 通过分层解码释放 SAM 在医疗适应上的潜力

    介绍了一种适用于医学图像的无提示适应性分割模型 H-SAM，并通过两阶段层次解码程序实现有效的细化调整，以提高其在医学图像分割中的性能。

    Mar, 2024