CVPRDec, 2020

DeepSurfels: 在线学习外观融合

PDF
TL;DR介绍了一种新型的场景表示 ——DeepSurfels，它能够结合几何和外观信息，并且可以很好地更新外观信息并且易于与机器学习方法相结合。同时，我们还提出了一种端对端的可训练在线外观融合管线，它可以将 RGB 图像的信息融合到所提出的场景表示中，并且比传统的纹理映射方法以及最近的基于学习的技术都表现出更好的运行时间、推广能力和可扩展性。
发现论文，激发创造
  • SurfelMeshing: 在线基于 Surfel 的网格重建

    该研究解决了从实时 RGB-D 视频中重新构建网格的问题，使用表面小波云，通过异步重新三角化以重构表面网格，并支持强烈变化的扫描分辨率。

    Oct, 2018

  • 神经融合：隐空间中的在线深度融合

    本文提出了一种新颖的在线深度图融合方法，该方法使用潜在特征空间学习深度图聚合，并通过附加的翻译器网络在场景表示和输出场景表示之间分离，该方法适用于处理高噪声等异常值，实验结果表明，与现有技术相比，在处理大量噪声和异常值的挑战性场景中获得了改进。

    Nov, 2020

  • 实时可扩展的密集 Surfel 地图

    本文提出一种新颖的密集 Surfel Mapping 系统，采用稀疏 SLAM 系统估计相机姿态，并将强度图像和深度图像融合成全局一致模型，具有运行时效率高、内存效率高、融合时间 O (1) 等优点，可用于建立从房间尺度到城市尺度的场景，经 KITTI 数据集和自主飞行实验验证其性能均能达到全局一致且可实时处理，代码可供社区使用。

    Sep, 2019

  • SurfelNeRF: 神经 Surfel 辐射场用于在线照片般逼真的室内场景重建

    本文提出了 SurfelNeRF，这是一种基于神经辐射场的新型算法，将灵活可扩展的神经 Surfel 表示与 NeRF 渲染结合起来，用于高效的在线重建和高质量渲染大规模室内场景，并通过高效的可微栅格化方案实现了 10 倍的速度提升，并在 ScanNet 数据集上实现了最先进的结果。

    Apr, 2023

  • DI-Fusion：基于深度先验的在线隐式三维重建

    本篇论文提出基于概率局部隐式 Voxels (PLIVoxs) 的 DI-Fusion (Deep Implicit Fusion) 方法，通过深度神经网络将先验知识编码到 PLIVoxs 中，实现了在线 3D 重建，相较于之前的方法在存储效率和相机轨迹估计精度等方面均体现出明显优势。

    Dec, 2020

  • EvaSurf: 移动设备上高效视图感知的隐式纹理表面重建

    在移动设备上，我们提出了一种名为 EvaSurf 的高效视图感知隐式纹理重建方法，它使用表面模型和内嵌高保真隐式纹理，结合轻量级神经着色器，以实现在移动设备上的实时渲染，从而为计算机视觉中的三维重建应用领域提供了高质量和高效率的解决方案。

    Nov, 2023

  • SurfelWarp: 高效的非体积化单视角动态重建

    我们提出了一种基于 surfel-based geometry 的密集 SLAM 系统，该系统可以实时重建非刚性变形场景，不需要模板或先前的模型。

    Apr, 2019

  • 通过解离几何和外观来进行多视图神经表面重建

    本文介绍一种神经网络架构，通过联合学习未知几何形状、相机参数和神经渲染器，能够高质量、高精度、高细节地实现多角度 3D 表面重建。该方法通过零级集的神经网络表示几何形状，并采用基于渲染方程的神经渲染器来预测表面上的光的反射情况，具有广泛的光照和材质建模能力。

    Mar, 2020

  • 深度外观模型用于人脸渲染

    本文介绍了一种基于多视角捕捉技术，利用深度变分自编码器来学习人脸的几何结构和外观特征联合表示，可实现对大规模、高度复杂的人脸几何结构的完美表现，从而能够适用于实时互动场景，例如虚拟现实 (VR) 应用。

    Aug, 2018

  • 深度神经网络实现照片级真实面部纹理推理

    利用深度卷积神经网络提取中层特征，从高分辨率人脸数据库中拟合特征的凸组合，从而生成 photorealistic texture map，以实现从低分辨率输入图像中合成高逼真度的 3D 人脸渲染模型，并进行了广泛的验证。

    Dec, 2016