Jun, 2023

利用反射场的神经投影映射

PDF
TL;DR本文提出利用神经投影映射技术在增强现实应用中实现对投影仪的高分辨率自适应校准和照片级别的光线编辑。通过将虚拟投影纹理与场景参数全微分，可以优化得到所需的外观。此外，本文展示了在材料和场景重建等方面，较传统方法更好的性能。
neural projection mappingprojector calibrationphoto realistic light editingaugmented realityviewpoint synthesis
发现论文，激发创造
  • 神经反射场的外观获取

    本研究提出了一种新的深度场景表示方法 —— 神经反射场，该方法使用全连接的神经网络编码场景中任意 3D 点的体密度、法线和反射属性，并将其与可微分的物理模型相结合，从而能在任意视点和光照条件下渲染图像，实现高质量的视角合成和照明重建。

    Aug, 2020

  • 神经面部反射场的单目重建

    本研究提出一种基于神经表示的脸部反射模型，通过单张图像的估计来生成基于光照、视角和脸部几何变换的脸部反射基，可用于在任何光照条件下从任何视角渲染脸部，其能更好地捕捉诸如亚表面散射、镜面效应、自身阴影和其他高阶效应等物理基元，进而提高光照模型的仿真度。

    Aug, 2020

  • 学习神经透射度用于高效渲染反射场

    本文提出了一种基于神经透射函数的新方法，用于加速神经反射场的渲染，减少了复杂光照下的时间复杂度，并保证了渲染精度。

    Oct, 2021

  • S$^3$-NeRF：单视角下通过遮挡和阴影得出的神经反射场

    利用单视图图像下不同点光源捕捉来学习神经场景表示，利用阴影和明暗等单目线索推断场景几何，并学习神经反射场，用于代表场景 3D 几何和 BRDF。实验表明，该方法能够从单视图图像中恢复场景的 3D 几何，包括可见和不可见部分，适用于新视角合成和再照明等应用。

    Oct, 2022

  • NeRV：用于重新照明和视图合成的神经反射率和可见性场

    该研究提供了一种基于连续体积参数化的方法，可以将场景表示为可以在新视点下进行渲染的 3D 表示，并且可在任意照明条件下呈现，包括间接光照效果，从而解决了以前的方法因光照环境变化而受限的问题。

    Dec, 2020

  • 基于 RGB-D 的浓密体辐射场的建图和跟踪

    基于 NeRFs 的成功，近年来在新颖视角合成领域取得了显著进展。然而，虽然视图合成模型在视觉上看起来很真实，但其底层的 3D 模型通常是错误的，这限制了它们在实际应用中的有效性。本技术报告介绍了视图合成模型和 3D 重建模型之间的关键区别，并指出了使用深度传感器进行准确几何建模的重要性。通过扩展 Plenoxel 辐射场模型，我们对基于 RGB-D 数据的辐射场密集建图和跟踪任务提出了一种分析微分方法，实现了优于竞争神经网络方法的最新成果，并具有更快的速度。

    Jul, 2023

  • 通用反射光度立体的神经反渲染

    本研究提出了一种用于光度立体图像的卷积神经网络结构，通过物理学建模的无监督学习框架，可以进行表面法线和反射率预测，并且在实际场景中达到了最先进的性能表现。

    Feb, 2018

  • 神经点光场

    采用神经隐式点光场方法实现体积渲染，通过几百个样本进行射线投射，通过点云实现大场景动态渲染视频，与现有的方法相比，新方法的视角预测能力更强。

    Dec, 2021

  • 基于物理的神经渲染的光采样场和 BRDF 表示

    本文基于目前成功的体积神经渲染，提出了一种新的灯光表示方法来解决物理基础渲染中的限制，并使用 BRDF 模型和细节表面 / 次表面散射，开发出全新的神经肌肤着色器，其性能和质量得到了充分的实验验证。

    Apr, 2023

  • 基于神经场的单视角折射率层析成像

    逆问题中，我们试图从二维投影图像测量中重构场景的三维折射场，为此我们引入了一种使用基于坐标的神经网络对场景中的连续折射场进行建模的方法，并通过分析合成方法优化该网络的参数，以实现对折射场的重建。

    Sep, 2023