基于 SAM 引导的轻量级双流模型用于异常检测
为了检测任何场景中的逻辑异常,本文提出了 SAM-LAD 框架,它是一个零 - shot、即插即用的框架。通过使用预训练的主干网来获取查询图像的特征图,并通过最近邻搜索检索引用图像及其对应的特征图,然后引入 Segment Anything 模型来获得查询图像和引用图像的对象掩模。使用对象匹配模型和动态通道图注意模块进行对象匹配,最后提出了一种用于检测带有逻辑异常的对象的异常测量模型。实验结果表明,SAM-LAD 在检测逻辑异常方面表现优于现有的先进方法。
Jun, 2024
该论文介绍了一种名为 MobileSAM 的轻量级 SAM 模型,其将重量级图像编码器替换为轻量级图像编码器,并且使用解耦蒸馏技术来训练模型,以便在移动设备上使用,相对于 FastSAM,MobileSAM 模型可缩小 7 倍且速度快 4 倍。
Jun, 2023
使用轻量级图像编码器,通过解耦蒸馏在资源有限环境下训练 MobileSAM 的编码器,得到了参数和浮点运算量更少,并在工业数据集上与 MobileSAM 相当的 Group-Mix SAM,表现优秀,适合实际装配线应用。
Mar, 2024
本论文针对计算机视觉中处理高分辨率输入带来的高昂计算代价提出了使用基于 CNN 检测器结合实例分割进行图像分割的替代方案,实验结果表明该方法仅使用 SAM 作者发布的 1/50 数据集,便可在 50 倍的运行时速下实现与 SAM 方法基本相当的性能。
Jun, 2023
本文提出了一种称为 PerSAM 的、无需训练的个性化方法,该方法首先通过位置先验定位目标概念,然后通过三种技术 - 目标引导注意力、目标语义提示和级联后处理在其他图像或视频中对其进行分割,有效地适应 SAM 的私人使用。此外,我们还提出了一种高效的单次微调变体,PerSAM-F,以缓解掩模的歧义。我们构建了一个新的分割数据集 PerSeg,并在具有竞争性的性能的视频对象分割上测试了我们的方法。
May, 2023
基于大规模 Transformer 模型的 SAM 模型制约了其在广泛现实应用中的计算成本。为解决这个问题,我们提出了轻量级 SAM 模型 EfficientSAMs,借助图像预训练方法 SAMI,通过 SAM 图像编码器重建特征进行视觉表征学习,并在 SA-1B 上微调模型,实现对图像分类、对象检测、实例分割和语义对象检测等多个视觉任务的评估。结果显示,SAMI 方法在面向零样本实例分割等任务上,我们的 EfficientSAMs 表现优于其他快速 SAM 模型,达到显著增益(例如,在 COCO/LVIS 上的 AP 提高了约 4 个点)。
Dec, 2023
通过学习可变形偏移对图像特征进行采样来提高 Segment Anything Model (SAM) 在各种情况下的分割稳定性,并验证了该方法的有效性和优势,从而使其成为更加稳健的分割解决方案。
Nov, 2023
本研究介绍了一种用于自动化少样本语义分割的结构化框架,利用 Segment Anything Model(SAM)模型,并借助先前引导的掩模生成粗略像素级提示,以获得更高效的语义可辨别分割结果,实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。
Nov, 2023
SAMFeat 通过引入 SAM(segment anything model)作为教师模型,利用像素级对齐关系和语义信息,改进本地特征描述和检测的性能,展现了在不同任务中的优越性能。
Sep, 2023