Mar, 2024

SAM-Lightening: 基于扩张闪烁注意力的轻量级段落任意模型，实现30倍加速

HTML
PDF
TL;DR通过引入SAM-Lightening，一种改进的注意力机制，称为Dilated Flash Attention，本研究在COCO和LVIS数据集上通过渐进蒸馏实现了从原始SAM的知识转移，实现了在运行时间效率和分割准确性方面显著优于最先进方法，每幅图片仅需要7毫秒的推理速度，是原始SAM的30.1倍，且内存占用只有原始SAM的3.5%。
发现论文，激发创造
  • 快速分割任何物体

    本论文针对计算机视觉中处理高分辨率输入带来的高昂计算代价提出了使用基于CNN检测器结合实例分割进行图像分割的替代方案，实验结果表明该方法仅使用SAM作者发布的1/50数据集，便可在50倍的运行时速下实现与SAM方法基本相当的性能。

    Jun, 2023

  • 面向移动应用的轻量级 SAM：更快的分割任何物体

    该论文介绍了一种名为MobileSAM的轻量级SAM模型，其将重量级图像编码器替换为轻量级图像编码器，并且使用解耦蒸馏技术来训练模型，以便在移动设备上使用，相对于FastSAM，MobileSAM模型可缩小7倍且速度快4倍。

    Jun, 2023

  • SAM-PARSER：通过参数空间重构高效地微调SAM

    通过参数空间重建的方法（SAM-PARSER），在几乎不引入可训练参数的情况下，高效地对Segment Anything Model（SAM）进行下游细分任务的微调，以得到针对新情景的参数空间，实验证明SAM-PARSER在各种情景下都表现出卓越的细分性能，并将可训练参数数量相对于当前参数高效微调方法减少了约290倍。

    Aug, 2023

  • 高效SAM：基于掩码图像预训练的高效物体分割

    基于大规模Transformer模型的SAM模型制约了其在广泛现实应用中的计算成本。为解决这个问题，我们提出了轻量级SAM模型EfficientSAMs，借助图像预训练方法SAMI，通过SAM图像编码器重建特征进行视觉表征学习，并在SA-1B上微调模型，实现对图像分类、对象检测、实例分割和语义对象检测等多个视觉任务的评估。结果显示，SAMI方法在面向零样本实例分割等任务上，我们的EfficientSAMs表现优于其他快速SAM模型，达到显著增益（例如，在COCO/LVIS上的AP提高了约4个点）。

    Dec, 2023

  • TinySAM: 高效细分任意模型的突破

    提出了一种TinySAM模型，通过知识蒸馏、后训练量化和分层分割策略，在保持零样本性能的同时大幅度减少了计算成本，进一步推动了高效分割任务的发展。

    Dec, 2023

  • BA-SAM：可扩展的偏置注意力掩码用于分割任何模型

    本文提出了Scalable Bias-Mode Attention Mask（BA-SAM）解决图像分辨率变化对Segment Anything Model (SAM)的影响，并实现了零样本泛化能力。通过引入新的缩放因子和偏置模式注意力掩码，BA-SAM在不改变结构的情况下，增强了模型对不同图像分辨率的适应性，同时在零样本学习和微调中取得了显著的性能提升。

    Jan, 2024

  • CAT-SAM：面向少样本适应的分割模型的条件调整网络

    提出了一种名为CAT-SAM的ConditionAl Tuning网络，用于适应处理各种非传统图像目标分割任务，通过只使用少量的目标样本实现与Segment Anything Model (SAM)相结合，提升了目标分割性能。

    Feb, 2024

  • SAM-REF：重新思考图像与提示的协同作用以细化分割

    本研究解决了现有分割模型在处理提示信息与图像结合时的低效和信息提取不足的问题。提出的SAM-REF框架通过两阶段的细化过程，实现了图像与提示的全局和局部有效整合，结合了早期结合的精确性与晚期结合的高效性。实验结果表明，该方法在复杂场景的多次交互中表现出卓越的有效性和高效性，超越了当前的先进模型。

    Aug, 2024

  • SAM-REF：重新思考图像提示协同以实现细分的精炼

    本研究针对现有交互分割模型在图像与提示有效结合上的不足，提出了一种全新的SAM-REF双阶段精炼框架。通过将图像和提示的全局与局部信息进行高效整合，研究显示该方法在复杂情况下的分割质量优于当前最优模型，且保持了高效性。

    Aug, 2024

  • 高效的任意分割模型变体：综述

    本研究针对Segment Anything Model（SAM）在图像分割任务上的高计算和资源需求问题，提出了一种高效的变体综述，以解决在资源有限环境下的部署挑战。通过对各类加速策略的深入分析，本论文提供了对这些高效变体的统一评估，揭示了其效率与准确性的比较，为后续研究提供了重要参考。

    Oct, 2024