Oct, 2023

DeepShaRM: 未知光照下多视角形状和反射率图恢复

PDF
TL;DR通过新颖的多视图方法 DeepShaRM，本研究提出了一种能够在未知自然光照条件下（即野外环境）重建无纹理、非兰伯特物体几何的几何重建方法。该方法通过引入深度反射率图估计网络，从当前几何估计的表面法线和输入的多视图图像中恢复相机视角的反射率图，并明确估计每个像素的置信度来处理全局光传输效应。然后，通过深度自遮蔽网络利用恢复的反射率图更新由符号距离函数表示的几何估计，通过这两者的交替迭代，并且避开了反射率和光照分解难题，该方法能够准确恢复这些复杂环境中的物体几何结构。通过对合成和真实数据的大量实验证明了该方法的准确性。
发现论文，激发创造
  • 稀疏多视图图像抓取的深度 3D 捕获：几何和反射

    本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法，旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF，通过最小化光度误差优化多视角反射率网络的潜在空间，成功地实现了从稀疏数据中重建出高质量的物体，进而渲染出真实的图像。

    Mar, 2020

  • 未知通用反射率纹理缺失光滑表面的多视角三维重建

    本文提出了一种简单且实用的解决方案，在多视角重建中使用基于联合几何和光度约束的能量最小化，利用一个共置的摄像机 - 光线扫描仪设备来克服建立跨视觉对应的问题。我们的优化算法可以从随机初始化中稳健地全局最优地恢复形状和反射率。实验结果验证了我们方法的有效性并讨论了未来的可能扩展。

    May, 2021

  • 使用神经反射技术进行形状恢复和阴影处理

    本文提出了一种基于深度多层感知器（MLP）的坐标系参数化方法，通过充分利用观察到的光度变化和表面阴影，恢复了表面形状和非兰伯特表面反射，并显式地预测投射阴影，减轻了这些遮挡区域上可能存在的估计误差。测试结果表明，该方法在真实世界图像中优于现有方法，并且由于 MLP 网络较小，相比以前基于 CNN 的方法，其速度提高了一个数量级。

    Mar, 2022

  • 深度反射图

    通过卷积神经网络技术，直接预测图像的反射率图以分解出出现的内在属性，并展示了如何通过间接方案在表面方向预测和数据插值的帮助下提高估计结果，同时引入基于真实与合成图像的全新挑战 SMASHINg 评估方法并展示了反射率图在图片编辑中的应用。

    Nov, 2015

  • 通用反射光度立体的神经反渲染

    本研究提出了一种用于光度立体图像的卷积神经网络结构，通过物理学建模的无监督学习框架，可以进行表面法线和反射率预测，并且在实际场景中达到了最先进的性能表现。

    Feb, 2018

  • S$^3$-NeRF：单视角下通过遮挡和阴影得出的神经反射场

    利用单视图图像下不同点光源捕捉来学习神经场景表示，利用阴影和明暗等单目线索推断场景几何，并学习神经反射场，用于代表场景 3D 几何和 BRDF。实验表明，该方法能够从单视图图像中恢复场景的 3D 几何，包括可见和不可见部分，适用于新视角合成和再照明等应用。

    Oct, 2022

  • 多视角光度图像的深度反射成像：可重光重建

    本文提出了一种基于深度学习的场景重建方法，应用了一种新颖的体积场景表示方法 —— 反射体积网格，通过物理可行的可微分体积光线行走框架，渲染出高质量的图像，实现了对具备挑战性的真实场景的重建，而重建得到的反射体积网格可进行编辑，可用于修改捕捉的场景材料。

    Jul, 2020

  • DeepShadow: 神经网络阴影形状

    这篇论文提出了一种名为 DeepShadow 的方法，它可以通过光度立体阴影图从自身和投影的阴影中恢复深度图和表面法线，从而进行 3D 重建。该方法不需要预训练或昂贵的标记数据，在推理时进行优化，使用神经网络进行 3D 形状重建。

    Mar, 2022

  • 基于混合可微分渲染方法的高效多视角逆向渲染

    从自然二维图像中恢复现实世界物体的形状和外观是一个长期存在且具有挑战性的逆渲染问题。本文介绍了一种新颖的混合可微渲染方法，能够从传统手持相机捕捉的多视图图像中高效重构场景的三维几何和反射率。我们的方法采用分析与合成的方法，分为两个阶段。在初始化阶段，我们使用传统的 SfM（结构光型三维重建）和 MVS（多视角立体匹配）方法来大致重建与实际场景相匹配的虚拟场景。然后，在优化阶段，我们采用混合方法来优化几何和反射率，其中几何首先使用近似可微渲染方法进行优化，然后再使用基于物理的可微渲染方法优化反射率。我们的混合方法将近似方法的效率与基于物理的方法的高质量结果结合起来。对合成和真实数据进行的大量实验证明，我们的方法在更高效的同时能够产生与最先进方法相似或更高质量的重建结果。

    Aug, 2023

  • MoSAR: 基于单目半监督模型的头像重建方法，利用可微分着色

    基于 MoSAR 方法，从单目图像中生成 3D 头像。我们提出了一种半监督训练方案，通过同时学习光型平台和野外数据集来提高泛化性能，并利用一种新颖的可微分着色公式有效地分离面部参数，生成逼真且可重光的人物头像。此外，我们还推出了一个新数据集 FFHQ-UV-Intrinsics，该数据集提供了 10k 个主题的面部属性，包括漫反射、镜面反射、环境光遮蔽和透明度贴图，是首个公开的大规模数据集。

    Dec, 2023