CVPRApr, 2021

NeuralRecon：单目视频实时一致性三维重建

PDF
TL;DR本文介绍了名为 NeuralRecon 的新型框架，可实时从单目视频中重建 3D 场景。该系统采用基于学习的 TSDF 融合模块，通过神经网络直接逐个重建局部表面，从而捕捉局部平滑性先验和全局形状先验，实现高精度，连贯和实时的表面重建。实验结果表明，该系统在准确性和速度方面均优于现有的方法。这是首个能够在实时情况下重建连贯稠密 3D 几何模型的基于学习的系统。
neuralreconreal-time 3d scene reconstructionmonocular videolocal surfaceslearning-based tsdf fusion module
发现论文，激发创造
  • PlanarRecon：基于单目视频的实时 3D 平面检测与重建

    PlanarRecon 是一种基于神经网络的新框架，通过在视频中逐渐检测 3D 平面，实现了对场景的全局连贯检测与重构，并在 ScanNet 数据集上取得了最新的最优性能。

    Jun, 2022

  • 使用带引导的稀疏特征体积融合从单目视频中增量稠密重建

    本文提出了基于特征体积的实时密集重建方法，采用稀疏的深度特征体积来预测 TSDF 值，通过多视角图像聚合细节信息进行时序融合，实现了比以往更高分辨率和更完整细节的三维几何图形重建，其在室内和室外场景中都比现有的方法具有更好的实时重建性能。

    May, 2023

  • SimpleRecon：无需 3D 卷积的 3D 重建

    通过多视角深度估计方法实现了精确简易的三维重建，在 ScanNet 和 7-Scenes 等数据集上的效果已经超过目前最先进的深度估计算法。

    Aug, 2022

  • FineRecon: 深度感知前馈网络用于详细三维重建

    本文介绍了三种有效的方法来改善基于内推法的三维重建的精度，分别为：分辨率无关的 TSDF 监督策略、使用多视角深度估计的深度引导策略和使用高分辨率图像特征的新颖体系结构。这些方法可以使三维重建更加精细准确。

    Apr, 2023

  • VolumeFusion：基于深度学习的三维场景重建深度融合技术

    本文介绍了一种利用深度神经网络复制传统的 local depth maps calculation 和 global depth maps fusion 两步骤框架，以改善对 3D 场景重建精度和可解释性的计算机视觉任务方法。此外，作者还提出了一种称为 PosedConv 的旋转不变的 3D 卷积核，用于提高从非常不同视角获取的图像之间的匹配效率。作者在 ScanNet 数据集上进行了大量实验证明提出的方法在深度神经网络和传统计算机视觉技术中具有竞争力。

    Aug, 2021

  • Atlas: 从姿态图像实现端到端三维场景重建

    提出了一种端到端的三维重建方法，通过直接回归截断带符号距离函数（TSDF）从一组姿势 RGB 图像中实现。使用 2D CNN 独立地提取每个图像的特征，然后通过相机内参和外参进行反投影和累积到体素体积中。此外，通过该方法获取到了三维模型的语义分割。该方法在 Scannet 数据集上得到了评估，既在量化指标上，也在视觉效果上都超过了国际领先的基准结果。

    Mar, 2020

  • VisFusion：基于可见性的在线视频三维场景重建

    提出了一种名为 VisFusion 的可见性感知在线 3D 场景重建方法，通过对单目视频进行姿态估计来恢复场景的体量特征，并提出了细节保留的局部稀疏化方法和分层预测 TSDF 的方法，实验结果表明我们的方法能够获得卓越的性能。

    Apr, 2023

  • MonoSelfRecon: 从单目 RGB 视角纯自监督显性可推广的室内场景 3D 重建

    通过自我监督的方法，基于体素有符号距离函数（voxel-SDF）实现了对室内场景的单目 RGB 视图下的 3D 网格重构，并且在实验中表现出与全监督模型和自监督室内深度估计模型相当的水平。

    Apr, 2024

  • CVRecon: 重新定义神经重建的 3D 几何特征学习

    提出了一种基于多视角立体技术的神经重建框架 CVRecon，使用创新的 3D 几何特征表示方法 RCCV，可以显着提高三维几何重建质量和恢复细节。

    Apr, 2023

  • BundleSDF：未知物体的 6 自由度神经跟踪和 3D 重建

    本研究提出了一种近实时的方法，可以从单目 RGBD 视频序列中对未知物体进行 6 自由度跟踪，并同时进行神经 3D 重建。该方法适用于任意刚体对象，即使视觉纹理基本不存在。该方法的关键在于同时学习神经对象场和姿态图优化过程，以稳健地累积信息以捕捉物体的几何和外观，而不需要其他信息和假设。本方法可以处理具有大的位姿变化，部分遮挡，无纹理表面和高光反射等挑战性序列，而且通过在 HO3D，YCBInEOAT 和 BEHAVE 数据集上的测试，证明本研究方法显著优于现有方法。

    Mar, 2023