PointSeg:基于基础模型的三维场景分割的非训练范式
通过采用大规模预训练模型、计算机视觉和 2D 任务,本研究提出了一种新的框架来解决 3D 点云分割任务,通过将 2D 语义分割预测投影到 3D 空间,并引入语义标签融合策略,实现了在扩展的数据集上的 3D 场景理解。
Nov, 2023
本文提出了一种基于球形图像的实时端到端语义分割方法 PointSeg,它以从 3D LiDAR 点云转换来的球形图像为输入,并利用卷积神经网络(CNNs)来预测点级语义映射,它采用了轻量级网络 SqueezeNet 进行模型构建,并在 KITTI 3D 目标检测数据集上进行了训练,实验结果表明在单个 GPU 1080ti 上可达到每秒 90 帧的竞争精度,适用于自动驾驶应用。
Jul, 2018
针对 3D 点云的分割问题,我们提出了一种新的点云分割框架,该框架能有效地优化整个场景的像素级特征,几何结构和全局上下文先验。实验结果表明,该方法优于现有的一些最先进的方法,并探讨了在三维重建场景中合成相机姿态以获得更高的性能。
Aug, 2019
通过引入 2D 模型的特性,我们提出了 Segment3D 方法,用于生成高质量的 3D 场景分割掩码,从而实现对于细粒度掩码的改进,并且能够轻松添加新的训练数据以进一步提升分割性能,而无需手动标注训练标签。
Dec, 2023
通过使用图像概念传达的视觉概念,本研究首次探索了使用基础模型进行开放世界理解的方法,提出了一种名为图像提示分割(IPSeg)的新方法,该方法利用了图像提示技术,通过提取强大的特征,并通过新颖的特征交互模块将输入图像的表示与提示图像的表示进行匹配,以生成突出显示输入图像中目标对象的点提示,并进一步利用生成的点提示来指导 Segment Anything Model 对输入图像中的目标对象进行分割,从而消除了繁琐的训练过程,提供更高效和可扩展的解决方案。
Oct, 2023
我们设计了一种新的零样本三维部分分割流水线 ZeroPS,它可以将二维预训练基础模型的知识高质量地传递到三维点云中。我们的方法主要基于多视图对应和基础模型的提示机制之间的自然关系,并在此基础上建立桥梁。我们的流水线包括两个组件:1) 自扩展组件,将单个视角的二维组扩展到三维全局级组;2) 多模态标记组件,引入二维检查机制,将每个二维预测的边界框投票至最佳匹配的三维部件,并使用类非最高投票惩罚函数来优化投票矩阵。此外,还包括一种合并算法来合并部件级的三维组。在 PartnetE 数据集上对三个零样本分割任务进行了广泛评估,相比现有方法,取得了显著改进的最新成果(分别提高了 19.6%,5.2%和 4.9%)。我们的方法不需要任何训练、微调或可学习参数,并且几乎不受领域变化的影响。代码将公开发布。
Nov, 2023
通过探索图像和点云之间的关系并设计有效的特征对齐策略,我们提出了一种新颖的方法来解决具有挑战性的跨模态和跨域自适应任务,在没有任何 3D 标签的情况下,我们的方法利用 KITTI360 和 GTA5 的知识,在 SemanticKITTI 上达到了 3D 点云语义分割的最先进性能,相比现有的无监督和弱监督基准。
Sep, 2023
通过使用基于 Transformer 的方法在 3D 空间中扩展了 Segment Anything Model(SAM),我们提出了一种 3D 可提示分割模型(Point-SAM),利用部分级和对象级注释,从 SAM 中生成伪标签,将 2D 知识提取到我们的 3D 模型中,并在室内和室外基准测试中优于最先进的模型,展示了多种应用,如 3D 标注。
Jun, 2024
本文提出了一种无需过多手工注释、称为 FreePoint 的方法,用于针对点云进行不考虑类别的实例分割。该方法使用自我监督深度特征表示点特征,并使用多覆盖割算法将点云分割为粗略的实例掩模。同时,作者还提出了一种弱监督的训练策略和相应的损失,以减轻粗略掩模在训练过程中的不准确性。通过 Fine-tuning 方法,FreePoint 在 S3DIS 数据集上的表现优于仅使用 10% 的遮罩注释训练的模型。
May, 2023
提出了名为 CPSeg 的新型实时端到端全景分割网络,该网络采用共享编码器、双解码器和无聚类实例分割头,以动态支柱化前景点,通过学习嵌入来获得实例标签,并通过成对嵌入比较找到连接柱来转化传统的基于提案或聚类的实例分割为二元分割问题。在 SemanticKITTI 和 nuScenes 两个大规模自动驾驶数据集上进行了基准测试,结果表明 CPSeg 在两个数据集上都达到了实时方法的最先进水平。
Nov, 2021