Oct, 2020

SCFusion：基于语义完整性的实时增量场景重建

PDF
TL;DR通过实时深度数据重建场景的完整三维模型存在遮挡缺失的问题。我们提出了一个基于深度图输入序列、支持实时增量和语义场景完成的框架，其中利用一种新颖的神经架构以及基于体素状态的方式来识别精确、高效的语义完成，并将其与全局三维模型相融合，从而最终达到精准高效的三维语义场景完整。
real-time scene reconstruction3d modelsaugmented realityrobotic navigationsemantic scene completion
发现论文，激发创造
  • 来自单个深度图像的语义场景补全

    本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务，提出了一种端到端三维卷积神经网络 SSCNet，该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地扩展感受野并进行三维上下文学习。实验结果表明，该联合模型比各自解决每个任务的方法表现更好，并且在语义场景完成任务上优于替代方法。

    Nov, 2016

  • 室内场景实时渐进式 3D 语义分割

    本文提出了一种高效而健壮的技术，实现了 3D 室内场景的即时密集语义分割和重建，该方法基于高效的超体素聚类方法和来自结构和对象线索的高阶约束的条件随机场，无需预先计算即可进行渐进式密集语义分割。通过对 SceneNN 和 ScanNet 数据集中的不同室内场景进行广泛评估，证明了该技术在定性和定量实验中始终能够产生最先进的分割结果。

    Apr, 2018

  • 基于半监督结构先验的 3D 草图感知语义场景补全

    本文提出了一种基于几何学的策略来将深度信息与低分辨率体素表示相结合，通过 3D 素描感知特征嵌入编码几何信息并采用半监督先验学习策略来引导占用推理和语义标签的推断，该方案在三个公共基准测试中一致优于现有技术。

    Mar, 2020

  • 学习的语义多传感器深度图融合

    通过神经网络重建，将基于截断有符号距离函数的三维重建方法从多个方面进行了推广，包括语义信息的丰富、多传感器数据融合、场景去噪与完整以及专家系统整合。

    Sep, 2019

  • 基于在线语义重构的主动场景理解

    提出一种基于 RGBD 重建和语义分割的机器人操作主动理解未知室内场景的新方法，利用离线估计的离散视野分数场来驱动机器人的勘探扫描，结合基于体素的实时语义标注，优化遍历路径和相机轨迹，从而实现高效准确的在线场景解析。

    Jun, 2019

  • 利用本地深度隐函数对 LiDAR 数据进行语义场景补全

    本文提出了一种新型的场景分割网络，基于本地 Deep Implicit Functions 的方法，用于语义场景补全，并将其在经过语义注释的 LiDAR 扫描上验证了其性能的优越性。

    Nov, 2020

  • 语义场景完成的三维门控循环融合

    本文针对语义场景完成（SSC）任务中的数据融合问题进行了研究，我们提出了一种 3D 门控递归融合网络（GRFNet），其可以自适应地选择和融合来自深度和 RGB 图像的相关信息，并借助门控和记忆模块。基于单阶段融合，我们进一步提出了一种多阶段融合策略，并在两个基准数据集上进行了广泛的实验，证明了所提出的 GRFNet 在 SSC 中的数据融合方面具有卓越的性能和有效性。

    Feb, 2020

  • 基于特征聚合和条件预测的实时 3D 语义场景补全

    本文提出了一种实时语义场景完整方法，具有特征聚合策略和条件预测模块，通过特征聚合和两步预测方案来提高语义场景完整预测性能。在三个基准测试上进行实验，并在一个 GTX 1080 Ti GPU 上以每秒 110 帧的速度取得了有竞争力的性能。

    Mar, 2023

  • 双流三维语义场景补全

    本文提出一种两流方法，结合深度信息和从 RGB 图像推断出的语义信息，利用 3D CNN 推断出完整的 3D 语义张量进行场景补全，该方法远优于目前的最新技术。

    Apr, 2018

  • 从 4D 动态点云序列进行语义完整场景预测

    我们研究了语义完整场景预测（SCSF）的新问题，通过一个名为 SCSFNet 的新型网络，我们能够准确地预测未来帧的完整场景以及其语义标签。

    Dec, 2023