光子场网络用于动态实时体积全局照明
我们提出了一种成像和神经渲染技术,旨在从新颖的移动视角合成通过场景传播的光的视频。我们的方法依赖于一种新的超快成像设备,用皮秒级时间分辨率捕捉首个多视角视频数据集。结合该数据集,我们引入了一种基于瞬态场的高效神经体渲染框架。该场被定义为从三维点和二维方向到表示超快时间尺度下时变辐射度的高维离散时间信号的映射。使用瞬态场进行渲染可以自然地考虑光的有限速度带来的效应,包括由于光传播延迟到相机而引起的视点相关外观变化。我们渲染了一系列复杂效果,包括散射、镜面反射、折射和衍射。此外,我们通过时间扭曲过程演示了去除视点相关传播延迟、相对论效应的渲染以及直接和全局光传输的视频合成。
Apr, 2024
我们提出了一种新的单阶段框架,神经光子场(NePF),用于解决多视图图像中的逆渲染问题。与以往的方法相反,我们质疑在多个阶段中恢复几何、材质和光照,并从不同的神经场中提取属性的复杂性,并介绍了一种单阶段框架,统一恢复所有属性。NePF 通过充分利用神经隐式表面权重函数和视角相关辐射的物理含义,实现了这种统一。此外,我们引入了一种创新的基于坐标的快速体积物理渲染照明模型。为了规范这个照明,我们实现了扩散估计的亚表面散射模型。我们在真实和合成数据集上评估了我们的方法。结果表明,我们的方法在恢复高保真几何和可视合理的材料属性方面具有优越性。
Nov, 2023
本研究提出了将本应在神经网络评估后再进行渲染的颜色,改为直接渲染出射线查询的特征向量,从而大幅降低了神经网络评估的复杂度和计算开销,并取得了较好的渲染质量。
May, 2023
本文探讨了一种基于神经光场表示的少样本新视角合成策略,其使用了隐式神经网络将光线映射到目标像素的颜色,且通过由由粗略体积渲染产生的本地光线特征来确定网络的条件。该方法使用 3D ConvNet 构建的输入图像的 3D 特征体积,实现了比现有的神经辐射场方法更加快速且在合成和真实的 MVS 数据上取得了竞争性的性能。
Jul, 2022
提出了一种基于神经网络的实时体积渲染方法,用于逼真高效地渲染体积媒体,通过模拟迭代积分过程来加速体积媒体的渲染速度,并在保持渲染质量的同时实现逼真的效果,实验结果表明该方法优于先前的方法。
Jan, 2024
我们提出了一种新颖的神经辐射场(NeRF)表示,用于非不透明场景,通过利用带纹理的多边形实现快速推理。我们的方法通过对场景进行多边形建模,从纹理中获取不透明度和颜色,并使用透像渲染所需的象限点来模拟体积效应,从而克服了现有方法在体积渲染和建模体积效应方面的局限性。最终色彩图像通过光栅化多边形和片段着色器得到,我们的方法能够在各种设备上进行渲染,并与现有图形框架轻松集成,同时保持体积渲染的优势。
Dec, 2023
该论文设计了一种在传统图形管线中将多边形网格资源嵌入逼真的神经放射场(NeRF)体积中的方法,以便能够以物理一致的方式渲染和模拟它们,通过在渲染和模拟过程中设计了网格和 NeRF 之间的双向耦合,解决了路径跟踪器和标准 NeRF 之间的颜色空间差异,还提出了一种估计光源和在 NeRF 上投射阴影的策略,并将混合表面 - 体积形式与高性能物理模拟器高效地集成在一起。
Sep, 2023
我们提出了三个关键要素,可实现高质量的实时(大于等于 30 帧 / 秒)1080p 分辨率的新视图合成,其中包括使用 3D 高斯函数表示场景、优化 3D 高斯函数的相关参数以准确表示场景,并开发了一种快速的可见性感知渲染算法,以加速训练并实现实时渲染。
Aug, 2023
本文提出了一种使用直接映射从相机光线到沿着光线最有可能影响像素最终外观的位置的方法,从而实现比标准方法快一个数量级的体积渲染神经网络模型的渲染、训练和微调,同时避免了在多个点上查询体积网络以呈现图像的过程时间缓慢的问题。与现有的方法不同的是,我们的方法适用于一般的体积,并且可以进行端到端的训练。
Nov, 2021