Mar, 2022

使用神经反射技术进行形状恢复和阴影处理

HTML
PDF
TL;DR本文提出了一种基于深度多层感知器（MLP）的坐标系参数化方法，通过充分利用观察到的光度变化和表面阴影，恢复了表面形状和非兰伯特表面反射，并显式地预测投射阴影，减轻了这些遮挡区域上可能存在的估计误差。测试结果表明，该方法在真实世界图像中优于现有方法，并且由于 MLP 网络较小，相比以前基于 CNN 的方法，其速度提高了一个数量级。
发现论文，激发创造
  • 通用反射光度立体的神经反渲染

    本研究提出了一种用于光度立体图像的卷积神经网络结构，通过物理学建模的无监督学习框架，可以进行表面法线和反射率预测，并且在实际场景中达到了最先进的性能表现。

    Feb, 2018

  • 稀疏多视图图像抓取的深度 3D 捕获：几何和反射

    本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法，旨在从六幅图像中重建物体的高质量几何结构和空间变化的BRDF，通过最小化光度误差优化多视角反射率网络的潜在空间，成功地实现了从稀疏数据中重建出高质量的物体，进而渲染出真实的图像。

    Mar, 2020

  • 非 Lambert 表面的深度光学立体成像

    本文介绍了一种深度学习方法，解决了光度立体的问题，在已知光照方向的情况下可以处理未知各向同性反射的表面，得出表面法线图；同时还提出了一种新的卷积网络方法以处理光照方向未知的情况。在多个数据集上经过充分的评估，该方法取得了更优秀的结果。

    Jul, 2020

  • 神经反射场的外观获取

    本研究提出了一种新的深度场景表示方法——神经反射场，该方法使用全连接的神经网络编码场景中任意3D点的体密度、法线和反射属性，并将其与可微分的物理模型相结合，从而能在任意视点和光照条件下渲染图像，实现高质量的视角合成和照明重建。

    Aug, 2020

  • 基于CNN的近场光度立体问题方法

    该研究提出了一种CNN基于光度立体的方法，能够处理如光传播、透射视图几何和镜面光反射等现实假设，通过两个主要步骤迭代估计形状和辐射方向，取得比现有状态-of-the-art方法更好的实验效果。

    Sep, 2020

  • 在家中进行形状和材料捕捉

    本研究提出了一种利用相机、手电筒和三脚架估计对象几何和反射属性的技术，并引入了一种递归神经架构，名为RecNet，能够以更高的精度预测表面法向和反射率。

    Apr, 2021

  • NeRS: 野外环境下稀疏视角3D重建的神经反射表面

    本文介绍了一种基于表面模型的神经重建方法 Neural Reflectance Surfaces (NeRS)，通过表面重建和双向反射分布函数 (BRDF) 学习了拍摄对象的形状、漫反射颜色和镜面高光等参数，适用于多角度拍摄的实际场景数据。

    Oct, 2021

  • DeepShadow: 神经网络阴影形状

    这篇论文提出了一种名为DeepShadow的方法，它可以通过光度立体阴影图从自身和投影的阴影中恢复深度图和表面法线，从而进行3D重建。该方法不需要预训练或昂贵的标记数据，在推理时进行优化，使用神经网络进行3D形状重建。

    Mar, 2022

  • S$^3$-NeRF：单视角下通过遮挡和阴影得出的神经反射场

    利用单视图图像下不同点光源捕捉来学习神经场景表示，利用阴影和明暗等单目线索推断场景几何，并学习神经反射场，用于代表场景3D几何和BRDF。实验表明，该方法能够从单视图图像中恢复场景的3D几何，包括可见和不可见部分，适用于新视角合成和再照明等应用。

    Oct, 2022

  • NeRO: 多视角图像的反射物体神经几何与BRDF重建

    该研究提出了一种称为NeRO的基于神经渲染的方法，用于从采集于未知环境中的多视角图像中，重建反射物体的几何和BRDF。该方法通过两个步骤解决了在多视角情况下反射物体重建的困难，并成功地重建出了几何和BRDF。

    May, 2023