Rescan: 室内 RGBD 扫描的归纳式实例分割
本文提出了一种高效而健壮的技术,实现了 3D 室内场景的即时密集语义分割和重建,该方法基于高效的超体素聚类方法和来自结构和对象线索的高阶约束的条件随机场,无需预先计算即可进行渐进式密集语义分割。通过对 SceneNN 和 ScanNet 数据集中的不同室内场景进行广泛评估,证明了该技术在定性和定量实验中始终能够产生最先进的分割结果。
Apr, 2018
该文提出了一种用于机器人地图实时构建的方法,其中,在实时扫描的同时,使用语义实例识别和多帧数据关联技术来构建基于物体的语义地图。评估结果表明,该方法能够有效地识别和跟踪预测的物体实例,并与最先进的方法竞争。
Mar, 2019
通过将深度学习与 RGB-D 数据相结合,提出了一种用于高效 3D 实例分割的新方法,该方法通过点状渲染模块将 2D 区域卷积神经网络(Mask R-CNN)模型与深度信息集成,可以识别和分割对象的 3D 实例,实验证明该方法对于支持机器人和智能系统中的物体处理非常有益。
Jun, 2024
通过无监督学习的方法,使用 LiDAR 传感器,构建了一个算法来预测 3D 场景中的实例分割,其中通过权重代理图生成 3D 实例掩模建议,并使用自我训练算法对初始嘈杂的提议进行强化,以生成场景级实例分割。在 SemanticKITTI 基准测试中,该方法相较于最佳基准模型获得了 13.3% 的平均准确率和 9.1% 的 F1 分数提升。
Mar, 2024
本文提出了一种使用 RGBD sensing 的增量学习方法来进行开放式世界的语义分割,使用三维地图表示方法来标记没有语义标签的区域,实现对新的物体类别的识别及聚类。通过实验验证,该方法能够正确聚类已知和未知类别的对象,并且比现有的监督式方法具有更快的处理时间及更高的性能。
Jul, 2019
本文介绍了一种新型的神经网络体系结构:3D-SIS,用于在商品 RGB-D 扫描中进行三维语义实例分割。它结合了几何和颜色信号的联合学习,从而实现了精确的实例预测。该网络利用了高分辨率 RGB 输入和多视角 RGB-D 输入,并在 3D 重建的姿态对准的基础上将 2D 图像与体积网格相结合,实现了 2D 和 3D 特征学习组合,从而达到了超过 13 的 mAP 改进。
Dec, 2018
利用三维扫描、推理和基于 GAN 的领域自适应技术相结合,提出了一种名为 SRDA 的新型管道,以获得大量的训练样本,从而在人工成本极低的情况下实现像素级实例分割的良好性能。
Jan, 2018
我们提出了一种在线的三维语义分割方法,可以从连续的 RGB-D 帧流中增量重建三维语义地图,适用于具有实时约束的场景,例如机器人技术或混合现实。我们的方法通过联合估计每帧的几何和语义标签来有效提取输入 RGB-D 视频流的信息,并利用 2D 输入和局部 3D 领域的差异进行对语义实体的推理,进而预测场景的增量更新并整合到全局场景表示中,实验结果表明我们的方法相对于现有的在线方法在本地区域产生了改进,并且展示了互补信息可以提升性能的证据。
Nov, 2023
采用多尺度卷积神经网络直接从图像和深度信息中学习特征实现室内场景的多类别分割,并在 NYU-v2 深度数据集上取得了 64.5% 的准确率,充分说明了适当的硬件(如 FPGA)可以实现实时处理。
Jan, 2013
提出一种新的 4D 全景 LiDAR 分割方法,将语义类和时间一致的实例 ID 分配给 3D 点序列,使用点为中心的评估度量来确定每个点的语义类别,将对象实例建模为 4D 时空域中的概率分布,从而以更高效的方式处理多个点云。这项工作展望未来的超高效 LiDAR 全景感知。
Feb, 2021