基于概率驱动的开放世界三维点云语义分割框架
该研究提出了一种基于 LIDAR 点云数据的开放式语义分割任务,使用 REdundAncy cLassifier 框架解决开放式语义分割和增量学习问题,并在 SemanticKITTI 和 nuScenes 数据集上达到了最先进的性能,同步解决了灾难性遗忘问题。
Jul, 2022
已有的 3D 实例分割方法通常假设在训练过程中可获取所有待分割的语义类别,并在推理时仅分割已见类别。我们认为这种封闭世界的假设过于限制,首次探索了在开放世界环境中进行 3D 室内实例分割,使模型能够区分已知类别,并将未知对象标注为未知,并在相应的类别标签可用时逐步学习未知对象的语义类别。为此,我们引入了一种开放世界的 3D 室内实例分割方法,其中采用自动标注方案在训练过程中生成伪标签,并引入分离机制来区分已知和未知类别标签。我们还通过基于目标性得分分布调整未知类别概率的方法,在推理过程中改进了伪标签的质量。我们还引入了基于真实场景的谨慎策划的开放世界数据集,根据物体分布、基于区域的室内场景探索和开放世界类别的随机性方面。广泛的实验表明了所提出的方法有效性,为开放世界 3D 实例分割性能带来了希望。
Sep, 2023
本文介绍了一种深度学习架构,用于解决非结构化点云的三维语义分割问题。与以往的工作相比,我们引入了点群聚合技术,定义了初始世界空间和学习特征空间中的点邻域,并结合专用损失函数,进一步构建了学习点特征空间。我们展示了如何将这些机制应用于点云的三维语义分割任务,并在室内和室外数据集上报告了最新性能。
Oct, 2018
本文介绍了一种在有限标签情况下解决点云理解问题的通用简单框架,通过无监督区域扩展的聚类方法生成聚类,并结合地理特征相似性和语义特征相似性在弱标签监督下学习合并过度细分的聚类,以及自监督重建和数据增强优化模块引导标签在场景中语义相似点之间的传播。实验证明,该框架在大规模 3D 语义场景解析的数据效率设置下,在语义分割、实例分割和目标检测等三个重要弱监督点云理解任务中表现最佳,所开发技术还具有对机器人操作和自主导航中的下游任务提供更好表示的潜力。代码和模型可在链接处公开获取。
Dec, 2023
针对 3D 点云的分割问题,我们提出了一种新的点云分割框架,该框架能有效地优化整个场景的像素级特征,几何结构和全局上下文先验。实验结果表明,该方法优于现有的一些最先进的方法,并探讨了在三维重建场景中合成相机姿态以获得更高的性能。
Aug, 2019
本文提出了一种基于贝叶斯框架和模拟退火优化的图像划分采样算法,基于已知物体类别的目标检测器输出,实现了在开放集条件下分割所有已知和未知目标类别的实例分割方法,该方法在已知类别和未知类别上均有较好表现并且与监督式方法相比具有竞争性。
Jun, 2018
提出了一种基于 2D 监督的新型深度图卷积网络框架,用于大规模语义场景点云的分割,通过 Graph-based Pyramid Feature Network 和 Observability Network 可以隐式推断点集的全局和局部特征,并提出了一个 2D-3D 联合优化策略用于优化投影过程中的语义信息的加入, 即使只有单个训练样本的情况下,也能够进行自然场景下的 3D 分割训练,扩展实验在 SUNCG 和 S3DIS 数据集上证明了这种 2D 监督框架在语义点云分割方面的有效性。
Apr, 2020
本文介绍了一种将图像和预先构建的点云地图信息融合的方法来自动且准确地标记诸如道路、人行道、人行横道和车道等静态地标,并展示了该模型可以预测大部分道路特征并可以扩展用于自动将道路特征纳入高清地图。
Jun, 2020
该论文提出了一种新颖的方法,能够在没有额外训练数据的情况下,同时完成准确的封闭世界语义分割和识别新类别,还提供了每个新发现类别与已知类别的相似度度量,可在规划或映射等下游任务中提供有用信息。通过广泛的实验,我们展示了我们的模型在训练数据中已知类别以及异常分割方面取得了最先进的结果,并且能够区分不同的未知类别。
Mar, 2024
本研究介绍了 SEGCloud,一种利用三线性插值和完全连接条件随机场等方式得到端到端三维点级分割的框架,可实现对室内和室外三维数据集进行准确的场景标注。
Oct, 2017