SAMFlow:消除光流中的任何碎片化问题的分段整体模型
我们提出了一种利用最新的基础模型 Segment Anything Model(SAM)的非监督流网络 UnSAMFlow,通过加入适应 SAM 蒙版的自监督语义增强模块、基于单应性的新平滑度定义以及简单而有效的蒙版特征模块,能够在对象周围生成清晰的光流估计,优于 KITTI 和 Sintel 数据集上的最先进方法,并且在跨领域上具有很好的泛化能力且运行效率高。
May, 2024
通过将光流与 Segment Anything 模型 (SAM) 结合,本文研究了两种模型,一种使用光流作为输入,另一种使用 RGB 作为输入,这两种简单的方法在单个和多个物体分割基准测试中,凭借其出色的性能超过了所有先前的方法,同时还将这些基于帧的分割扩展到了保持对象身份的序列级分割。
Apr, 2024
本论文针对计算机视觉中处理高分辨率输入带来的高昂计算代价提出了使用基于 CNN 检测器结合实例分割进行图像分割的替代方案,实验结果表明该方法仅使用 SAM 作者发布的 1/50 数据集,便可在 50 倍的运行时速下实现与 SAM 方法基本相当的性能。
Jun, 2023
Segment Anything Model (SAM) 是第一个用于图像分割的基础模型,本研究评估了 SAM 在虚拟现实环境下记录的眼部图像中分割特征的能力。结果表明,SAM 的分割效果可以与专门模型相媲美,且使用提示工具可以提高其性能,示例数据集中瞳孔分割的 IoU 达到 93.34%。SAM 等基础模型有望通过快速且易用的图像分割方法,革新注视估计领域,减少对专门模型和繁琐手动标注的依赖。
Nov, 2023
研究了针对视觉任务开发的第一个基础模型,称为 Segment Anything Model(SAM)。SAM 可以基于便宜的输入提示,如一个或多个点、边界框或掩码,在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性,并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而,作者还研究了 SAM 在航空图像问题中的表现,他们发现虽然 SAM 在航空图像上通常表现良好,但在某些情况下由于航空图像和目标对象的独特特征而失败。
Apr, 2023
提出了一种 TinySAM 模型,通过知识蒸馏、后训练量化和分层分割策略,在保持零样本性能的同时大幅度减少了计算成本,进一步推动了高效分割任务的发展。
Dec, 2023
本文提出了一种名为 GoodSAM 的新型框架,通过引入教师助理 (TA) 并融合 SAM 的集成 logits 来解决从 Segment Anything Model (SAM) 到学生模型的知识转移问题,同时提出了 Distortion-Aware Rectification (DAR) 模块和 Multi-level Knowledge Adaptation (MKA) 模块来处理全景图像的畸变问题并进行多级特征知识的有效传递,实验证明 GoodSAM 在两个基准测试上取得了较先进方法 + 3.75% 的平均交并比 (mIoU) 提升,并且我们最轻量级的模型仅有 3.7M 个参数却达到了与先进方法相媲美的性能。
Mar, 2024
FocSAM 通过 Dynamic Window Multi-head Self-Attention 和 Pixel-wise Dynamic ReLU 的优化来提高 Segment Anything Model (SAM) 在交互式分割方面的性能,使其与现有的分割质量最先进的方法相匹配,但只需使用该方法推理时间的约 5.6%。
May, 2024
SAMFeat 通过引入 SAM(segment anything model)作为教师模型,利用像素级对齐关系和语义信息,改进本地特征描述和检测的性能,展现了在不同任务中的优越性能。
Sep, 2023
通过利用用户交互和构建的掩码生成伪标签,我们提出了一种在实时使用过程中可以调整 Segment Anything Model (SAM) 的框架,从而显著减小了在新领域或对象类型中进行交互式分割时的失效率。我们的方法在 FR_20@85 和 FR_30@90 指标上实现了相对约 48.1% 和 46.6% 的减小。
Apr, 2024