Jan, 2024

SHINOBI: 通过 BRDF 优化进行神经对象分解的形状和光照研究

PDF
TL;DR我们提出了 SHINOBI，一种用于从具有不同照明、姿势和背景的物体图像中重建形状、材料和光照的端到端框架。
发现论文，激发创造
  • SAMURAI：利用不受约束的真实世界的图像集获取外形和材料

    该论文提出了一种联合优化框架，可以在未知摄像机姿态和野外环境下准确地估计形状、辐射度和图像相机姿态和光照。

    May, 2022

  • 神经网络重建形状、材质和光照

    本文提出了一种强大的物体重建流程，以神经网络和基于物理反演的渲染相结合，可从二维图像中重建物理世界中对象的形状和在空间上变化的表面外观以及其周围的照明，并通过实验证明了该流程在质量和性能方面优于现有的重建方法。

    Apr, 2023

  • NeRO: 多视角图像的反射物体神经几何与 BRDF 重建

    该研究提出了一种称为 NeRO 的基于神经渲染的方法，用于从采集于未知环境中的多视角图像中，重建反射物体的几何和 BRDF。该方法通过两个步骤解决了在多视角情况下反射物体重建的困难，并成功地重建出了几何和 BRDF。

    May, 2023

  • 神经预积分光照反射分解

    本文提出了一种新颖的反射率分解网络，通过使用 Neural-PIL 替换昂贵的照明积分操作和使用平滑流形自编码器学习深度低维表现，实现了物体图像的形状、BRDF 和每个图像的照明的估计，得到的分解结果可有效地提高 BRDF 和光估计的准确性，实现更准确的新视图合成。

    Oct, 2021

  • ShaRF: 单视角形状有条件的辐射场

    本文介绍了一种基于神经网络的方法来从单张图片中估计物体的 3D 形状和外观，将其分解成形状和外观两个隐变量，通过优化这两个变量和网络参数，可以精准地还原输入物体，并能够处理训练领域之外的真实图像。

    Feb, 2021

  • 基于阴影引导的生成式隐式模型用于精确形状的 3D 感知图像合成

    本研究提出了一种基于阴影引导的生成式隐式模型，该模型利用多角度光照约束对 3D 物体进行建模，使得在不同光照条件下产生逼真的渲染效果，从而改善先前方法在表达精确 3D 形状方面的局限性，并成功应用于图像重照和 3D 形状重建任务。

    Oct, 2021

  • IllumiNeRF: 无需逆渲染的 3D 照明

    通过使用图像扩散模型对输入图像进行重新照明，并利用这些重新照明的图像重建神经辐射场（NeRF），我们提出了一种更简单的方法来实现利用目标光照下的新视点渲染的三维表示，并在多个重新照明基准测试中取得了最新的结果。

    Jun, 2024

  • 复杂室内场景的反渲染：从单张图像提取形状、空间变化照明和空间可变双向反射分布函数

    提出了一种深度反渲染框架，用于室内场景的重建和估计形状、光照和面反射率，实现了提高渲染质量，从而在增强现实等领域具有广泛应用。

    May, 2019

  • DeepShaRM: 未知光照下多视角形状和反射率图恢复

    通过新颖的多视图方法 DeepShaRM，本研究提出了一种能够在未知自然光照条件下（即野外环境）重建无纹理、非兰伯特物体几何的几何重建方法。该方法通过引入深度反射率图估计网络，从当前几何估计的表面法线和输入的多视图图像中恢复相机视角的反射率图，并明确估计每个像素的置信度来处理全局光传输效应。然后，通过深度自遮蔽网络利用恢复的反射率图更新由符号距离函数表示的几何估计，通过这两者的交替迭代，并且避开了反射率和光照分解难题，该方法能够准确恢复这些复杂环境中的物体几何结构。通过对合成和真实数据的大量实验证明了该方法的准确性。

    Oct, 2023

  • NeRD: 图像集合中的神经反射分解

    本论文提出了一种使用基于物理的渲染来分解场景并产生具有 BRDF 材料属性的可重光纹理网格的方法，可适用于不同光照条件下获取的图像，实验证明该方法能够从图像集合中获得高质量的可重光 3D 资源。

    Dec, 2020