ECCVJul, 2020

多视角光度图像的深度反射成像：可重光重建

PDF
TL;DR本文提出了一种基于深度学习的场景重建方法，应用了一种新颖的体积场景表示方法 —— 反射体积网格，通过物理可行的可微分体积光线行走框架，渲染出高质量的图像，实现了对具备挑战性的真实场景的重建，而重建得到的反射体积网格可进行编辑，可用于修改捕捉的场景材料。
发现论文，激发创造
  • 稀疏多视图图像抓取的深度 3D 捕获：几何和反射

    本研究提出了一种基于多视角立体网络、光谱反射率、深度学习的方法，旨在从六幅图像中重建物体的高质量几何结构和空间变化的 BRDF，通过最小化光度误差优化多视角反射率网络的潜在空间，成功地实现了从稀疏数据中重建出高质量的物体，进而渲染出真实的图像。

    Mar, 2020

  • 神经体积：从图像中学习动态可渲染的体积

    通过学习，我们提出了一种表示动态物体的方法，该方法由编码器 - 解码器网络和可微分的射线行进操作组成，它不需要明确重建或跟踪物体，使用了 3D 体积表示法，表现出更好的图像质量，为高分辨率应用提供了一种从表面到体积的方法

    Jun, 2019

  • NeRV：用于重新照明和视图合成的神经反射率和可见性场

    该研究提供了一种基于连续体积参数化的方法，可以将场景表示为可以在新视点下进行渲染的 3D 表示，并且可在任意照明条件下呈现，包括间接光照效果，从而解决了以前的方法因光照环境变化而受限的问题。

    Dec, 2020

  • 神经反射场的外观获取

    本研究提出了一种新的深度场景表示方法 —— 神经反射场，该方法使用全连接的神经网络编码场景中任意 3D 点的体密度、法线和反射属性，并将其与可微分的物理模型相结合，从而能在任意视点和光照条件下渲染图像，实现高质量的视角合成和照明重建。

    Aug, 2020

  • DeLiRa: 自监督深度、光照和辐射场

    本文提出使用自监督深度估计文献中的多视角光度目标作为几何正则化器来对体积渲染进行改进，并使用变压器来显式建模场景几何形状和深度，并展示了这种方法的性能。通过共享潜在编码信息，无需增加网络复杂度，越过单任务学习的局限性，实现了针对受限视角多样性的高质量体积渲染和实时新视角和深度合成的任务，并在 ScanNet 基准测试中实现了最先进的结果。

    Apr, 2023

  • 体积云场重建

    通过少量的立体图像对体积视图进行重建，该文介绍了一种新颖的深度学习框架，将深度立体模型与三维卷积神经网络（3D CNN）和迁移模块相结合，能够捕捉体积的形状和动态，从而估计出大规模体积（如云）的密度和速度场。

    Nov, 2023

  • Ref-DVGO：反射感知的直接体素网格优化，实现反射场景重构的质量与效率权衡改善

    我们研究了一种基于隐式 - 显式方法的密度场重建和渲染的方案，以在处理反射场景时在效率和质量之间取得均衡，并提出了关于影响重建反射对象结果的因素的假设。

    Aug, 2023

  • DeepShaRM: 未知光照下多视角形状和反射率图恢复

    通过新颖的多视图方法 DeepShaRM，本研究提出了一种能够在未知自然光照条件下（即野外环境）重建无纹理、非兰伯特物体几何的几何重建方法。该方法通过引入深度反射率图估计网络，从当前几何估计的表面法线和输入的多视图图像中恢复相机视角的反射率图，并明确估计每个像素的置信度来处理全局光传输效应。然后，通过深度自遮蔽网络利用恢复的反射率图更新由符号距离函数表示的几何估计，通过这两者的交替迭代，并且避开了反射率和光照分解难题，该方法能够准确恢复这些复杂环境中的物体几何结构。通过对合成和真实数据的大量实验证明了该方法的准确性。

    Oct, 2023

  • Lighthouse: 预测具有空间一致性的照明光照体积

    本文提出了一种使用深度学习模型对场景的三维模型进行预测，并通过标准体积渲染技术来估算场景中任何三维位置的入射光照强度，可以在没有地面真实三维数据的情况下进行训练，可用于在真实图像中插入高反光虚拟物体的空间变化照明估算方法。

    Mar, 2020

  • 神经 RGB-D 表面重建

    该研究论文提出了一种基于截断有符号距离函数的 NeRF 框架的 3D 重建方法，结合 RGB-D 传感器和相机细化技术，得到高质量的空间重建结果。

    Apr, 2021