SAM3D:基于 Segment Anything 模型的零样本三维物体检测
Segment Anything Model (SAM) 是第一个用于图像分割的基础模型,本研究评估了 SAM 在虚拟现实环境下记录的眼部图像中分割特征的能力。结果表明,SAM 的分割效果可以与专门模型相媲美,且使用提示工具可以提高其性能,示例数据集中瞳孔分割的 IoU 达到 93.34%。SAM 等基础模型有望通过快速且易用的图像分割方法,革新注视估计领域,减少对专门模型和繁琐手动标注的依赖。
Nov, 2023
本研究旨在无缝地将 Segment Anything Model (SAM) 与开放词汇目标检测器集成在一起,引入了 SideFormer 模块和开放区域建议网络 (Open-set RPN) 等创新方法,以提升 SAM 在检测任意对象和开放词汇识别方面的性能。Sambor 在 COCO 和 LVIS 等基准测试中展现出卓越的零样本性能,并与之前的最先进方法竞争力十足,旨在为 SAM 赋予识别多样化对象类别和促进视觉基础模型的开放词汇学习提供有意义的努力。
Dec, 2023
SAM3D 是一种新的半自动零射击 3D 图像分割方法,通过现有的任意分割模型,利用四步策略实现在 3D 图像中快速且准确的分割,可以帮助手术规划和教育、诊断成像以及科学研究。
May, 2024
研究了针对视觉任务开发的第一个基础模型,称为 Segment Anything Model(SAM)。SAM 可以基于便宜的输入提示,如一个或多个点、边界框或掩码,在输入的图像中分割对象。作者在大量的视觉基准任务中研究了 SAM 的零样本图像分割准确性,并发现 SAM 通常实现了与目标任务上进行了训练的视觉模型类似或有时超过其识别精度。他们检查了 SAM 在多样化、广泛研究的基准任务集上的表现。然而,作者还研究了 SAM 在航空图像问题中的表现,他们发现虽然 SAM 在航空图像上通常表现良好,但在某些情况下由于航空图像和目标对象的独特特征而失败。
Apr, 2023
本研究评估了 SAM 2D 在医学成像中的零样本能力,结果显示其性能与目前的最新技术相当甚至更好,并提出一项实用的指南以获得在所有评估上都具有鲁棒性的结果。
Apr, 2023
该文通过第一次全面调查介绍了受到重大关注的 Meta AI Research 开发的 Segment anything model(SAM)的性能表现和多种应用情况,并呼吁读者对该模型进行新的研究以促进其进一步发展。
May, 2023
本研究使用 Segment Anything Model 在医疗图像上进行了定量和定性的零 - shot 分割实验,并发现虽然其在一般领域的图像中表现出色,但在医疗图像中存在一定的局限性,特别是在结构性目标上,而针对这些问题的数量有限的微调可以带来明显的改进。此研究表明了通用视觉基础模型在解决医疗成像中的特定任务方面的多功能性,并展现了这些模型通过微调最终可以应对获取大量不同的医学数据集和应对医学领域的复杂挑战的巨大潜力。
Apr, 2023
本研究旨在将 Meta AI 的创新图像分割模型 Segment Anything Model(SAM)应用于遥感图像分析领域,特别是处理来自不同地理背景的航空和轨道影像,实现 SAM 在遥感影像处理中的潜力。
Jun, 2023
本文将利用基于 Segment Anything Model (SAM) 的零样本能力进行医学图像分割任务的初步评估,结果表明,SAM 可以很好地适应 CT 数据,因此有望成为半自动分割工具的推手,并且相信这种基础模型能够成为医学领域模型其他适应性研究的良好出发点。
Apr, 2023
SAM3D 是一个创新的框架,通过利用 RGB 图像中的 Segment-Anything 模型而无需进一步训练或微调,能够在 3D 点云中预测掩模,首先预测具有 SAM 的 RGB 图像的分割掩模,然后将 2D 掩模投影到 3D 点中。最后,两个相邻帧的点云掩模以双向合并的方式进行合并,最终可以将不同帧预测出的 3D 掩模逐渐合并为整个 3D 场景的 3D 掩模,实验结果表明 SAM3D 能够在不需要对 SAM 进行训练或微调的情况下,实现合理和细粒度的 3D 分割结果。
Jun, 2023