Dec, 2023

RNb-NeuS：基于反射和法线的多视角 3D 重建

PDF
TL;DR介绍了一种用于集成多视角反射和法线映射的通用范例。它使用像素级联合参数化反射和法线，将它们视为在模拟的不同光照下渲染的辐射矢量。该方法在神经体渲染的基于 3D 重建中，实现了反射和法线映射的无缝集成，同时保留单一的优化目标，从而优于最先进的 MVPS 方法，特别是在高曲率或低可见性区域的详细 3D 重建方面。
multi-view reflectancenormal mapsphotometric stereoneural volume rendering3d reconstruction
发现论文，激发创造
  • PS-NeRF：基于神经网络的多视图光度立体反演

    本研究提出了一种基于神经反演渲染的多视角光度立体（MVPS）方法，能够同时估算几何形状、材料和光源，并且在人工渲染、再照明和材质编辑方面具有较高的精度。

    Jul, 2022

  • NPLMV-PS：神经点光源多视角光度立体

    我们提出了一种新颖的多视图光度立体（PS）方法，利用神经形状表示和学习渲染器，显式利用像素强度渲染，模拟每个点的入射辐照度并使用全神经材质渲染器进行优化，同时通过估计法线和分割图最大化表面精度，达到在距离为 1.5m、分辨率 400x400 的情况下，超过经典方法 DiLiGenT-MV 的平均 0.2mm 的沙耶缝距离，对低光计数场景的异常法线具有鲁棒性，使用像素渲染距离仅为 0.27mm。

    May, 2024

  • 神经辐射场方法用于深度多视角光度立体重建

    我们提出了现代的解决方法，以解决多视角光度立体问题（MVPS），利用图像形成模型和深度学习方法恢复了密集的三维重建图像。

    Oct, 2021

  • SuperNormal：基于多视角法线融合的神经表面重建

    SuperNormal 是一种快速、高保真度的多视图 3D 重建方法，利用表面法线图生成详细表面，通过多分辨率哈希编码和基于路径的射线行进来优化神经有符号距离函数 (SDF) 的体积渲染，相较于现有的多视图光度立体重建方法，在效率和准确性上表现卓越。

    Dec, 2023

  • 通用反射光度立体的神经反渲染

    本研究提出了一种用于光度立体图像的卷积神经网络结构，通过物理学建模的无监督学习框架，可以进行表面法线和反射率预测，并且在实际场景中达到了最先进的性能表现。

    Feb, 2018

  • GNeRP：基于高斯引导的有噪极化先验的反射物体神经重建

    通过基于高斯的法线表示，本文提出了一种监督的方式来学习反射场景中几何形状的细节，通过极化先验引导几何学习，并通过优化过程中的重新权重策略来减轻极化先验的噪声问题，实验证明本文的方法在反射场景的神经三维重建中表现出色。

    Mar, 2024

  • MVSNeRF：多视角立体下的快速通用辐射场重建

    提出了 MVSNeRF，这是一种新颖的神经渲染方法，可以通过快速网络推理从仅三个附近输入视图重建辐射场，利用平面扫描代价体进行几何感知场景推理，并将其与基于物理的体积渲染相结合，能够横跨场景（甚至是室内场景）泛化，并仅使用三个输入图像生成逼真的视图合成结果，比类似工作在可推广的辐射场重建方面表现显著优越。

    Mar, 2021

  • 稀疏多视图图像抓取的深度 3D 捕获：几何和反射

    本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法，旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF，通过最小化光度误差优化多视角反射率网络的潜在空间，成功地实现了从稀疏数据中重建出高质量的物体，进而渲染出真实的图像。

    Mar, 2020

  • NeuralMVS: 多视图立体与新视角合成的桥梁

    本文提出了一种新型网络，利用少量稀疏图像输入，能够恢复三维场景几何信息和高分辨率彩色图像，并通过粗略到精细的球形追踪技术可以大幅提高速度，方法在多个数据集中都取得了可比较的精度。

    Aug, 2021

  • 双目光度立体摄影技术中的神经高度图方法

    提出了一种新颖、高度实用的双目光度立体（PS）框架，其采集速度与单视图 PS 相同，但显著改善了几何估计的质量。和最近的神经多视图形状估计方法（如 NeRF、SIREN 和多视图光度立体的反向图形方法）一样，我们将形状估计任务定义为通过最小化多个变化的光照图像估计的法线的表面法线差异，以及渲染表面强度与观察图像之间的差异，学习可微表面和纹理表示。我们的方法与典型的多视图形状估计方法有两个关键区别。首先，我们的表面不是用体积表示，而是用深度神经网络计算表面上各点的高度的神经高度图来表示。其次，我们使用了学习的 BRDF 并进行了点接近场强度渲染，而不是像 Guo 等人一样预测平均强度或引入兰伯特材料假设。我们的方法在针对双目立体设置进行适应的 DiLiGenT-MV 数据集以及新的双目光度立体数据集 - LUCES-ST 上取得了最先进的性能。

    Nov, 2023