GEM:通过分段多功能模型和数据合成提升玻璃表面分割的简化网络
Meta AI Research 发布了基于超过 10 亿掩模的大型分割数据集训练的 SAM 模型,尽管 SAM 在诸多领域具备强大的能力,但我们的经验评估表明该模型存在在透明物体场景中无法检测的问题。特别是在含有各种形式的玻璃的安全关键情况下,部署 SAM 可能存在风险。
Apr, 2023
本研究旨在将基础模型的能力发挥在 3D 视觉任务中,在通过 SAM 提出的 BEV 流程管道构建的基础上,通过提高零样例能力实现 3D 物体检测,将其应用于 Waymo 开放数据集,展示其可行性。
Jun, 2023
研究了针对视觉任务开发的第一个基础模型,称为 Segment Anything Model(SAM)。SAM 可以基于便宜的输入提示,如一个或多个点、边界框或掩码,在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性,并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而,作者还研究了 SAM 在航空图像问题中的表现,他们发现虽然 SAM 在航空图像上通常表现良好,但在某些情况下由于航空图像和目标对象的独特特征而失败。
Apr, 2023
通过输入「Segment Anything Model」(SAM)的简单提示框,并将 SAM 的结果输出作为 IS5Net 的输入,可以极大地提高高精度的二元图像分割的效果。
Dec, 2023
该文通过第一次全面调查介绍了受到重大关注的 Meta AI Research 开发的 Segment anything model(SAM)的性能表现和多种应用情况,并呼吁读者对该模型进行新的研究以促进其进一步发展。
May, 2023
该研究通过提出 Segment Any RGBD(SAD)模型来解决 Segment Anything Model(SAM)对几何信息关注不足的问题,该模型将 SAM 与深度图像渲染相结合,同时包括了开放词汇的语义分割,实现了 3D 万象分割。
May, 2023
基于深度学习中内在的低秩结构,我们提出了一种创新的方法,通过自适应微调 Segment Anything Model (SAM) 来实现显著目标检测,通过在五个具有挑战性的 RGB 基准数据集上进行全面的定性和定量评估,证明了我们方法的卓越性能,超越了最先进的方法。
Aug, 2023
RobustSAM 是一种改进的 Segment Anything Model (SAM) 方法,通过增强 SAM 在低质量图像上的性能,同时保持其可提示性和零样本泛化能力。其在各种分割任务和数据集上的广泛实验证实了其卓越性能,特别是在零样本条件下,在广泛的现实世界应用中具有巨大的潜力。
Jun, 2024
Segment Anything Model (SAM) 是第一个用于图像分割的基础模型,本研究评估了 SAM 在虚拟现实环境下记录的眼部图像中分割特征的能力。结果表明,SAM 的分割效果可以与专门模型相媲美,且使用提示工具可以提高其性能,示例数据集中瞳孔分割的 IoU 达到 93.34%。SAM 等基础模型有望通过快速且易用的图像分割方法,革新注视估计领域,减少对专门模型和繁琐手动标注的依赖。
Nov, 2023
本文提出了一种名为 GoodSAM 的新型框架,通过引入教师助理 (TA) 并融合 SAM 的集成 logits 来解决从 Segment Anything Model (SAM) 到学生模型的知识转移问题,同时提出了 Distortion-Aware Rectification (DAR) 模块和 Multi-level Knowledge Adaptation (MKA) 模块来处理全景图像的畸变问题并进行多级特征知识的有效传递,实验证明 GoodSAM 在两个基准测试上取得了较先进方法 + 3.75% 的平均交并比 (mIoU) 提升,并且我们最轻量级的模型仅有 3.7M 个参数却达到了与先进方法相媲美的性能。
Mar, 2024