基于图的全景稀疏语义分割网络 GP-S3Net
本文提出了一种基于场景图的三维场景理解方法,它将场景中的实体组织成图形式,运用基于 PointNet 和 Graph Convolutional Networks(GCN)的学习方法实现了场景图的回归,并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。
Apr, 2020
介绍了一项新的问题任务,即基于全景分割生成全景场景图(PSG);创建了一个高质量 PSG 数据集用于基准测试,并介绍了四种传统方法的改进和两种基于 Transformer 的单阶段基线;探讨了未来的挑战和发展方向。
Jul, 2022
该研究提出了一种基于深度学习的新框架,用于解决数百万点的大规模点云的语义分割挑战。该框架使用超级点图和图卷积网络等技术,取得了室内和户外 LiDAR 扫描分割方面的新成果。
Nov, 2017
介绍了一种高效的方法,通过将大型 3D 点云的全景分割任务重新定义为可扩展的图聚类问题来进行。该方法可以仅使用本地辅助任务进行训练,从而在训练过程中消除了资源密集型的实例匹配步骤。此外,我们的方法可以轻松适应 superpoint 范例,进一步提高其效率。这使得我们的模型能够在单次推理中处理具有数百万个点和数千个对象的场景。我们的方法(SuperCluster)在两个室内扫描数据集(S3DIS Area 5 的 PQ 指标为 50.1(+7.8),ScanNetV2 的 PQ 指标为 58.7(+25.2))上实现了全景分割的最新性能。此外,我们还在两个大规模移动映射基准测试(KITTI-360 和 DALES)中取得了首个最先进的结果。我们的模型仅有 209k 个参数,比最佳竞争方法小 30 倍,训练速度最高提高 15 倍。我们的代码和预训练模型可在此 https URL 获取。
Jan, 2024
通过稀疏跨尺度注意力网络,结合全局体素编码注意力捕捉实例上下文的长距离关系,以提高过分割大型对象的回归精度,并采用实例中心的稀疏无类表示来处理面积聚合点,实现稀疏卷积以减少网络计算量。在 SemanticKITTI 数据集上,我们的方法在 3D LiDAR 全景分割任务中取得了很大进展,以实时推理速度获得了第一名。
Jan, 2022
通过在传统的全景分割网络中引入图形结构来挖掘前景物体和背景物体类别内的模块内部和模块间关系,进而建立单一的 end-to-end 网络,以实现对图像的整体理解。该模型 (BGRNet) 在 COCO 和 ADE20K 全景分割基准中实现了新的最先进性能。
Apr, 2020
提出了一种基于 2D 监督的新型深度图卷积网络框架,用于大规模语义场景点云的分割,通过 Graph-based Pyramid Feature Network 和 Observability Network 可以隐式推断点集的全局和局部特征,并提出了一个 2D-3D 联合优化策略用于优化投影过程中的语义信息的加入, 即使只有单个训练样本的情况下,也能够进行自然场景下的 3D 分割训练,扩展实验在 SUNCG 和 S3DIS 数据集上证明了这种 2D 监督框架在语义点云分割方面的有效性。
Apr, 2020
提出了一种基于 Semantic Superpoint Tree Network (SSTNet) 的端到端解决方案,其通过学习场景点的语义特征构建中间的语义超级点树(SST), 在中间树节点处进行实例对象的建议,以及通过一个模块对错误的超级点进行修剪, 针对数据不规则性提出了一种改进的方法。在 ScanNet 和 S3DIS 的基准测试中表现出强大的实用性。
Aug, 2021
本研究旨在建立一种基于场景图表示的简化情形,名为场景重合图,来描述实体之间的重叠关系,并利用关系嵌入方法,以减少监督来解决实例之间的重叠关系。最终的试验结果表明,我们提出的方法能够准确地预测重叠关系,在所有测试集上的表现均优于现有最先进的方法,在 COCO 2019 基准测试中获得了创新奖。
Nov, 2019
本文提出了一种基于密集检测和全局自注意力机制的新型单次全景分割网络,该网络采用参数自由的掩码构建方法,大大降低了计算复杂度,实现了高效的实时性能,并在 Cityscapes 和 COCO 基准测试上取得了很好的效果。
Dec, 2019