Oct, 2023

一种实时插入虚拟物体到神经辐射场的方法

PDF
TL;DR我们提出了第一个实时方法，用于将刚性虚拟对象插入到神经辐射场中，它能够产生逼真的光照和阴影效果，并且允许对对象进行交互操作。通过利用 NeRF 中有关光照和几何的丰富信息，我们的方法克服了增强现实中对象插入的几个挑战。对于光照估计，我们产生了精确、稳健和具有三维空间变化的入射光，结合了 NeRF 的近场光照和环境光，以考虑 NeRF 未覆盖的光源。对于遮挡，我们使用从 NeRF 中整合的不透明度图将渲染的虚拟对象与背景场景混合。对于阴影，我们使用一个预计算的球形符号距离场查询视点周围的任意点的可见性，并在三维表面上投射软、详细的阴影。与现有技术相比，我们的方法能够以更高的保真度将虚拟对象插入场景中，并有很大潜力进一步应用于增强现实系统。
发现论文，激发创造
  • 使用神经辐射场重新照明场景中的物体插入

    本文提出了一种基于 NeRF 的新型管道，用于将物体 NeRF 插入场景 NeRF，实现新视角合成和逼真的光照重新调整，并支持物体之间的物理交互，如互相投射阴影，通过比较相机视角与光源视角之间的深度图并生成生动柔和的阴影，实现了逼真的光照重新调整效果。

    Jun, 2024

  • 透明和镜面对象的神经折射 - 反射场中的 3D 重建和视图合成

    本文介绍了一种新的方法，即折射 - 反射场，用于解决透明和镜面对象合成中的光线路径复杂性问题，并提出了一种虚拟锥超采样技术实现高效且有效的抗锯齿。通过在真实世界和合成数据集上进行测试，并对各种编辑应用进行定量和定性评估，包括材料编辑、对象替换 / 插入和环境照明估计，我们对该方法进行了基准测试。

    Sep, 2023

  • 动态网格感知辐射场

    该论文设计了一种在传统图形管线中将多边形网格资源嵌入逼真的神经放射场（NeRF）体积中的方法，以便能够以物理一致的方式渲染和模拟它们，通过在渲染和模拟过程中设计了网格和 NeRF 之间的双向耦合，解决了路径跟踪器和标准 NeRF 之间的颜色空间差异，还提出了一种估计光源和在 NeRF 上投射阴影的策略，并将混合表面 - 体积形式与高性能物理模拟器高效地集成在一起。

    Sep, 2023

  • 透明物体的神经辐射场法使用视体

    我们提出了一种基于 NeRF 的方法，通过三个步骤解决了传统 NeRF 在透明对象方面的局限性。首先，使用可视外形重建透明对象的三维形状。其次，根据斯涅尔定律模拟透明对象内部的光线折射。最后，通过折射光线采样点，并将其放入 NeRF 中。实验结果表明，我们的方法解决了传统 NeRF 在处理透明对象方面的限制。

    Dec, 2023

  • 使用可微分虚拟物体插入的神经光场估计技术应用于城市场景

    本文提出一种用于户外场景的光照估计的深度学习方法，并通过建立一个包含 HDR 天空穹、基于体积渲染的光照模型和可微分的物体插入式训练框架，实现了对具有阴影的物体完全可微的插入和渲染，为自动驾驶应用提供了更真实的增强数据。

    Aug, 2022

  • 基于神经辐射场的全息术 [邀请]

    该研究提出了一种基于神经辐射场（NeRF）技术的生成全息图的新方法。使用深度神经网络在合理的时间内构建了从 2D 图像生成的 3D 光场的渲染流程，包括 NeRF、深度预测器和全息图生成器，而不需要任何物理计算。通过该流程，可以计算从任意方向观看的 3D 场景的预测全息图。研究还展示了仿真和实验结果。

    Mar, 2024

  • 混合神经渲染：自适应体积表面的高效神经渲染

    使用混合的神经辐射场（HybridNeRF）方法，将大多数对象作为表面渲染，同时以体积化的方式对挑战性区域进行建模，以提高视图合成的质量和实时性。

    Dec, 2023

  • 多视角卫星摄影测量的影子神经辐射场

    我们提出了一种新的通用方法，用于阴影感知的多视角卫星摄影测量。我们的建议方法是采用隐式体积表示学习中的最新进展。通过训练 Shadow Neural Radiance Field (S-NeRF) 模型，我们能够实现对场景进行 3D 形状估算、阴影检测和透明物体过滤，而不需要任何显式形状监督。

    Apr, 2021

  • REF$^2$-NeRF: 反射和折射感知神经辐射场

    基于 NeRF 的模型方法，针对含玻璃展柜的场景，提出了一种可以更准确地建模玻璃折射和整体场景的方法。该方法通过对玻璃表面和直接反射光成分进行分离和建模，实现了对多个玻璃物体的准确建模。

    Nov, 2023

  • 神经场遇上显式几何表示，逆向渲染城市场景

    提出一种新的逆向渲染框架，能够从一组 RGB 图像中联合重建场景几何、空间变化的材料和 HDR 照明，并支持物理场景操作，例如射线跟踪阴影投射。

    Apr, 2023