基于神经有向距离场的结构光系统深度重建

May, 2024

基于神经有向距离场的结构光系统深度重建

Depth Reconstruction with Neural Signed Distance Fields in Structured Light Systems

Rukun Qiao, Hiroshi Kawasaki, Hongbin Zha

TL;DR我们介绍了一种新颖的基于神经隐式表示法的多帧结构光设置深度估计技术。通过自我监督的可微分渲染训练神经符号距离场（SDF）。与被动视觉不同，我们利用结构光系统中通过投影模式已知的辐射场，实现几何场的独立优化，确保固定设备定位下的收敛性和网络有效性。为了提高几何保真度，我们在训练过程中引入了基于物体表面的额外颜色损失。实际实验表明，我们的方法在少样本情景下在几何性能上具有优越性，并且在增加模式可用性的情况下实现了可比较的结果。

Abstract

We introduce a novel depth estimation technique for multi-frame structured light setups using neural implicit representations of 3D space. Our approach employs a neural signed distance field (SDF), trained throug

depth estimation structured light systems neural implicit representations self-supervised differentiable rendering geometric fidelity

发现论文，激发创造

学习符号距离场进行多视角表面重建

本研究提出了一种基于神经隐式表达并结合立体匹配和特征保持的新型表面重建框架，使用有符号距离场和表面光场直接表示场景几何及外观，并通过优化多视角特征一致性和渲染图像的保真度来精细化表示几何形状，提高了复杂场景拓扑的重建鲁棒性，实验结果表明相较于现有最优方法，本方法在无需输入蒙版的广阔场景网格重建上具有更佳的表现。

Aug, 2021

无 3D 监督的多视角图像神经三维场景重建

本文提出了一种新的神经重建方法，使用可访问的 2D 图像作为监督来进行 3D 场景重建，其中通过引入二进制带注符号距离函数、色彩场和概率场等方法实现了场景的重建，并引入了几何和平面约束以实现对场景复杂几何区域和低纹理区域的重建。

Jun, 2023

使用伪深度和融合改进的神经辐射场

通过构建多尺度编码体积和提供多尺度几何信息给 NeRF 模型，本文在新颖视角合成和密集几何建模方面提出了一种先进行深度预测和辐射场重建，以使构建的体积尽可能接近场景中物体的表面和渲染的深度更准确，然后通过深度引导的邻域特征融合，提高点体积特征的质量，从而实现了对场景进行优化而不是对单个场景优化的结果。

Jul, 2023

Intrinsic3D：高质量的 3D 重建，通过联合外观和几何优化，带有空间变化照明

本文提出一种新的方法，可同时优化几何编码、纹理以及材料和场景照明，以从消费级 RGB-D 传感器中获得高质量的 3D 重建。

Aug, 2017

基于神经渲染的自动驾驶城市场景重建

利用多模态数据结合深度学习模型进行密集三维重建，从而提高自动驾驶中的标注验证、数据扩充、缺失 LiDAR 系统的地面真值注释以及自动标记准确性的应用效果。

Feb, 2024

神经几何细节层：使用隐式三维形状的实时渲染

本篇研究提出了一种基于八叉树的特征体积的神经无人机距离函数模型，实现了高保真的 3D 形状实时渲染，且在多个方面表现出全球领先的复杂形状重建质量与渲染效率。

Jan, 2021

I$^2$-SDF：使用神经 SDF 射线追踪进行室内场景本质重建与编辑

本研究提出了一种基于神经距离场的方法，利用可微分的蒙特卡罗光线跟踪技术，从多视角图像中恢复室内场景的形状、辐射和材料，并进行物理模拟和逼真的场景编辑。实验结果表明，该方法在室内场景重建、新视角合成和场景编辑方面优于现有的基线方法。