SAD:RGBD 分割
SAM3D 是一个创新的框架,通过利用 RGB 图像中的 Segment-Anything 模型而无需进一步训练或微调,能够在 3D 点云中预测掩模,首先预测具有 SAM 的 RGB 图像的分割掩模,然后将 2D 掩模投影到 3D 点中。最后,两个相邻帧的点云掩模以双向合并的方式进行合并,最终可以将不同帧预测出的 3D 掩模逐渐合并为整个 3D 场景的 3D 掩模,实验结果表明 SAM3D 能够在不需要对 SAM 进行训练或微调的情况下,实现合理和细粒度的 3D 分割结果。
Jun, 2023
该研究提出了一个用于三维分割的新框架 SA3D,通过密度导向的反渲染将 2D 分割蒙版投影到 3D 蒙版网格,再通过迭代的方式学习准确的 3D 分割结果,实验表明 SA3D 在不同场景下的有效性。
Apr, 2023
借鉴了 Segment Anything Model (SAM) 的方法,我们提出了 SAM3D,该方法针对 3D 体积医学图像,利用 SAM 编码器的预训练特征来捕捉输入图像的意义表示,并通过整体处理 3D 图像而避免了大量参数的训练,实验结果表明,在 3D 医学分割任务中,我们的网络相对于其他最先进的方法具有竞争力且参数效率明显。
Sep, 2023
SAM3D 是一种新的半自动零射击 3D 图像分割方法,通过现有的任意分割模型,利用四步策略实现在 3D 图像中快速且准确的分割,可以帮助手术规划和教育、诊断成像以及科学研究。
May, 2024
本研究旨在将基础模型的能力发挥在 3D 视觉任务中,在通过 SAM 提出的 BEV 流程管道构建的基础上,通过提高零样例能力实现 3D 物体检测,将其应用于 Waymo 开放数据集,展示其可行性。
Jun, 2023
本研究介绍了一种用于自动化少样本语义分割的结构化框架,利用 Segment Anything Model(SAM)模型,并借助先前引导的掩模生成粗略像素级提示,以获得更高效的语义可辨别分割结果,实验证明该方法在 DLRSD 数据集上优于其他可用的少样本方法。
Nov, 2023
基于深度学习中内在的低秩结构,我们提出了一种创新的方法,通过自适应微调 Segment Anything Model (SAM) 来实现显著目标检测,通过在五个具有挑战性的 RGB 基准数据集上进行全面的定性和定量评估,证明了我们方法的卓越性能,超越了最先进的方法。
Aug, 2023
为了检测任何场景中的逻辑异常,本文提出了 SAM-LAD 框架,它是一个零 - shot、即插即用的框架。通过使用预训练的主干网来获取查询图像的特征图,并通过最近邻搜索检索引用图像及其对应的特征图,然后引入 Segment Anything 模型来获得查询图像和引用图像的对象掩模。使用对象匹配模型和动态通道图注意模块进行对象匹配,最后提出了一种用于检测带有逻辑异常的对象的异常测量模型。实验结果表明,SAM-LAD 在检测逻辑异常方面表现优于现有的先进方法。
Jun, 2024
SAI3D 是一种新颖的零样本三维实例分割方法,通过整合来自 Segment Anything Model (SAM) 的几何先验和语义线索,将三维场景划分为几何原语,然后逐步合并为与多视角 SAM 掩码一致的三维实例分割。通过具有动态阈值机制的分层区域增长算法,进一步提升细粒度三维场景解析的鲁棒性。在 Scan-Net 和更具挑战性的 ScanNet++ 数据集上进行的实证评估表明,我们的方法优于现有的开放词汇基准线,并在 ScanNet++ 上的类别不可知分割中甚至超过了全监督方法。
Dec, 2023
OV-SAM3D 是一个通用框架,用于不需要训练即可理解任何 3D 场景的开放词汇三维场景理解,通过使用 Segment Anything Model (SAM) 生成超点并通过 Recognize Anything Model (RAM) 的开放标签和操作表,结合超点和分割掩模生成最终的 3D 实例,经过对 ScanNet200 和 nuScenes 数据集的实证评估,我们的方法在未知的开放世界环境中超越了现有的开放词汇方法。
May, 2024