Mar, 2020

Atlas: 从姿态图像实现端到端三维场景重建

PDF
TL;DR提出了一种端到端的三维重建方法，通过直接回归截断带符号距离函数（TSDF）从一组姿势 RGB 图像中实现。使用 2D CNN 独立地提取每个图像的特征，然后通过相机内参和外参进行反投影和累积到体素体积中。此外，通过该方法获取到了三维模型的语义分割。该方法在 Scannet 数据集上得到了评估，既在量化指标上，也在视觉效果上都超过了国际领先的基准结果。
发现论文，激发创造
  • VolumeFusion：基于深度学习的三维场景重建深度融合技术

    本文介绍了一种利用深度神经网络复制传统的 local depth maps calculation 和 global depth maps fusion 两步骤框架，以改善对 3D 场景重建精度和可解释性的计算机视觉任务方法。此外，作者还提出了一种称为 PosedConv 的旋转不变的 3D 卷积核，用于提高从非常不同视角获取的图像之间的匹配效率。作者在 ScanNet 数据集上进行了大量实验证明提出的方法在深度神经网络和传统计算机视觉技术中具有竞争力。

    Aug, 2021

  • FineRecon: 深度感知前馈网络用于详细三维重建

    本文介绍了三种有效的方法来改善基于内推法的三维重建的精度，分别为：分辨率无关的 TSDF 监督策略、使用多视角深度估计的深度引导策略和使用高分辨率图像特征的新颖体系结构。这些方法可以使三维重建更加精细准确。

    Apr, 2023

  • 无 3D 监督的多视角图像神经三维场景重建

    本文提出了一种新的神经重建方法，使用可访问的 2D 图像作为监督来进行 3D 场景重建，其中通过引入二进制带注符号距离函数、色彩场和概率场等方法实现了场景的重建，并引入了几何和平面约束以实现对场景复杂几何区域和低纹理区域的重建。

    Jun, 2023

  • OctNetFusion: 从数据中学习深度融合

    本研究提出了一种基于深度学习的方法来进行深度融合，可以更好的处理深度图像数据中的噪声和异常值，并能够完整地重建三维物体形态，并且能够填补穴洞，具有更好的性能表现。

    Apr, 2017

  • 3D Former: 基于单目视觉的 3D SDF 变换器场景重建

    本文提出了一种基于 SDF 转换网络、稀疏窗口注意力模块和上下文注意力网络的三维变换器网络，用于更好地聚合三维特征，提高单目场景重建的精度和完整性。实验结果表明，该网络在多个数据集上优于现有方法，能够提高网格的准确性和完整性。

    Jan, 2023

  • NeuralRecon：单目视频实时一致性三维重建

    本文介绍了名为 NeuralRecon 的新型框架，可实时从单目视频中重建 3D 场景。该系统采用基于学习的 TSDF 融合模块，通过神经网络直接逐个重建局部表面，从而捕捉局部平滑性先验和全局形状先验，实现高精度，连贯和实时的表面重建。实验结果表明，该系统在准确性和速度方面均优于现有的方法。这是首个能够在实时情况下重建连贯稠密 3D 几何模型的基于学习的系统。

    Apr, 2021

  • SimpleRecon：无需 3D 卷积的 3D 重建

    通过多视角深度估计方法实现了精确简易的三维重建，在 ScanNet 和 7-Scenes 等数据集上的效果已经超过目前最先进的深度估计算法。

    Aug, 2022

  • TetraTSDF: 通过四面体外壳的单张图像三维人体重建

    该研究提出了一种基于 TetraTSDF 和 PCN 的人体建模方法，通过卷积神经网络和三维人体先验知识，可以从单张图像中重建穿着宽松衣服的真实 3D 人体模型。

    Apr, 2020

  • DeLS-3D: 3D 语义地图的深度定位与分割

    该研究提出了一种基于深度学习的统一框架，通过将相机视频、运动传感器（GPS/IMU）和三维语义地图进行传感器融合，以实现自主驾驶、自我定位和场景分类等多个应用领域中场景解析和相机姿态同时处理的目的。研究使用的技术包括渲染技术，使用相机姿态和三维语义地图生成标注地图，并在深度神经网络中进行联合训练，以提高姿态估计精度。该研究表明，相较于单一传感器，传感器融合对于目标跟踪及姿态估计具有更高的鲁棒性和准确性。

    May, 2018

  • 利用残差重建 RGB-D 相机动态环境下的三维模型

    本文提出了一种基于 RGB-D 传感器的方法，能够稳定地在包含多个动态元素的场景中进行地图绘制和定位，并在现有数据集上对其进行评估和发布。

    May, 2019