Jun, 2024

NeRSP：稀疏偏振图像用于反射物体的神经三维重建

PDF
TL;DR我们提出的 NeRSP 是一种用于具有稀疏偏振图像的反射表面的神经 3D 重建技术。通过利用偏振图像，我们共同处理了稀疏输入和反射表面所带来的挑战，并通过多视角一致性优化了表面几何模型。在合成和真实数据集上的实验证明，我们仅使用 6 个视角的输入就实现了最先进的表面重建结果。
nersp3d reconstructionreflective surfacessparse polarized imagesmultiview stereo
发现论文，激发创造
  • NeRS: 野外环境下稀疏视角 3D 重建的神经反射表面

    本文介绍了一种基于表面模型的神经重建方法 Neural Reflectance Surfaces (NeRS)，通过表面重建和双向反射分布函数 (BRDF) 学习了拍摄对象的形状、漫反射颜色和镜面高光等参数，适用于多角度拍摄的实际场景数据。

    Oct, 2021

  • GNeRP：基于高斯引导的有噪极化先验的反射物体神经重建

    通过基于高斯的法线表示，本文提出了一种监督的方式来学习反射场景中几何形状的细节，通过极化先验引导几何学习，并通过优化过程中的重新权重策略来减轻极化先验的噪声问题，实验证明本文的方法在反射场景的神经三维重建中表现出色。

    Mar, 2024

  • 稀疏多视图图像抓取的深度 3D 捕获：几何和反射

    本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法，旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF，通过最小化光度误差优化多视角反射率网络的潜在空间，成功地实现了从稀疏数据中重建出高质量的物体，进而渲染出真实的图像。

    Mar, 2020

  • RNb-NeuS：基于反射和法线的多视角 3D 重建

    介绍了一种用于集成多视角反射和法线映射的通用范例。它使用像素级联合参数化反射和法线，将它们视为在模拟的不同光照下渲染的辐射矢量。该方法在神经体渲染的基于 3D 重建中，实现了反射和法线映射的无缝集成，同时保留单一的优化目标，从而优于最先进的 MVPS 方法，特别是在高曲率或低可见性区域的详细 3D 重建方面。

    Dec, 2023

  • 透过玻璃：针对高镜面反射的神经表面重建

    本研究提出了一种新颖的 NeuS-HSR 表面重建框架，基于隐式神经渲染，通过对高度镜面反射的干扰的降低，与物理假设相结合的新颖辅助平面模块的设计，来实现对目标表面的精确重建，并在合成和实际数据集上进行广泛的实验来验证其性能。

    Apr, 2023

  • 通用反射光度立体的神经反渲染

    本研究提出了一种用于光度立体图像的卷积神经网络结构，通过物理学建模的无监督学习框架，可以进行表面法线和反射率预测，并且在实际场景中达到了最先进的性能表现。

    Feb, 2018

  • 基于物体中心射线采样的稀疏三维重建

    我们提出了一种从由 360 度校准相机组拍摄的一组稀疏视图中重建 3D 物体的新方法。我们通过混合模型，使用基于 MLP 的神经表示和三角形网格，表示对象表面。我们工作的一个关键贡献是一种新颖的以对象为中心的神经表示采样方案，其中的光线在所有视图之间共享。这种采样方案通过网格表示确保样本沿法线方向分布均匀。然后，通过可微分的渲染器高效地进行渲染。我们证明了这种采样方案能更有效地训练神经表示，不需要额外的分割蒙版的监督，能获得最先进的 3D 重建结果，并且适用于 Google 的 Scanned Objects、Tank and Temples 和 MVMC Car 数据集的稀疏视图。

    Sep, 2023

  • 深度极化成像应用于三维形状和 SVBRDF 获取

    本文提出了一种使用偏振线索高效获取物体形状和空间变化反射的新方法，其中偏振成像与深度学习相结合，可以在正面闪光照射下使用单视角偏振成像实现高质量估计物体形状和反射。

    May, 2021

  • 利用偏振 - Unet 进行表面法线重构

    本文介绍了一种利用极化成像的端到端深度学习方法来实现物体表面法线的高精度三维重建的方法，并通过定量和定性的评估结果表明，该方法相较于基于物理的方法在整个数据集上能够以最低的平均角误差（MAE）值为 18.06 度来准确重建物体表面法线。

    Jun, 2024

  • 使用极线几何从稀疏视角进行神经表面重建

    稀疏视图输入中重建表面的挑战一直存在着，本文提出了一种名为 EpiS 的新方法，它将对极线信息纳入重建过程，聚合了来自多个源视图的线级信息，生成精细的信号距离函数 (SDF) 感知特征，并通过注意力机制实现了特征融合。此外，本文还采用全局和局部正则化技术，整合了从单目深度估计中得到的深度信息，用于解决稀疏条件下的信息缺失问题。广泛的实验证明，我们的方法在稀疏和可推广条件下优于现有的方法。

    Jun, 2024