Apr, 2024

飞行中的光子：渲染传播光的新视图

PDF
TL;DR我们提出了一种成像和神经渲染技术，旨在从新颖的移动视角合成通过场景传播的光的视频。我们的方法依赖于一种新的超快成像设备，用皮秒级时间分辨率捕捉首个多视角视频数据集。结合该数据集，我们引入了一种基于瞬态场的高效神经体渲染框架。该场被定义为从三维点和二维方向到表示超快时间尺度下时变辐射度的高维离散时间信号的映射。使用瞬态场进行渲染可以自然地考虑光的有限速度带来的效应，包括由于光传播延迟到相机而引起的视点相关外观变化。我们渲染了一系列复杂效果，包括散射、镜面反射、折射和衍射。此外，我们通过时间扭曲过程演示了去除视点相关传播延迟、相对论效应的渲染以及直接和全局光传输的视频合成。
发现论文，激发创造
  • 光子场网络用于动态实时体积全局照明

    本篇论文提出了一种名为 Photon Fields Networks 的新方法，能够实现基于体数据的全局实时光照。该方法基于神经网络，通过预先计算的多相位光子缓存进行训练，取得了优异的表现，并能够在大型数据集上实现交互式渲染。

    Apr, 2023

  • 轻场景神经渲染

    本文提出了一种基于四维光场表示的双阶段变压器模型，旨在弥合几何重建和经典光场渲染之间的差距，通过强制约束几何约束，使得场景几何隐含在稀疏的视角学习中，并在多个前向和 360 度数据集上超越了最先进技术，尤其是在视角变化剧烈的情况下。

    Dec, 2021

  • 自由视点视频的时空神经辐照场

    该研究提出了一种从单个视频学习动态场景的时空神经辐射场的方法，能实现自由视角渲染输入视频。该学习方法建立在最近关于内隐表示的进展之上，利用视频深度估计方法的场景深度来约束我们的动态场景表示的时变几何，将单个帧中内容聚合为一个全局表示，并提供了广泛的定量评估和引人注目的自由视点渲染结果。

    Nov, 2020

  • 神经点光场

    采用神经隐式点光场方法实现体积渲染，通过几百个样本进行射线投射，通过点云实现大场景动态渲染视频，与现有的方法相比，新方法的视角预测能力更强。

    Dec, 2021

  • 快速合成非正式视频

    基于单目视频的全局静态场景模型和逐帧点云的动态内容的混合视频表示方法能够实时合成高质量的新视图，并且训练速度比现有方法快 100 倍。

    Dec, 2023

  • 多视点视频的神经三维视频合成

    提出了一种新的 3D 视频合成方法，使用神经辐射场表示动态实景，并使用一种紧凑的表现方式，能够高质量地合成视图和插值运动，其动态场景建模方法在视角合成和动态场景表示方面都表现良好。

    Mar, 2021

  • 神经自由视点光泽间接照明照明

    本文提出了神经 - 小波 PRT 方法，用于高频间接照明的实时渲染，并演示了实时复杂场景的预计算渲染。

    Jul, 2023

  • LightSpeed：移动设备上轻量快速的神经光场

    在移动设备上实时进行新视角图像合成由于有限的计算能力和存储而受到限制。体积渲染方法（如 NeRF 及其衍生方法）在移动设备上使用不适宜，因为其计算成本高。然而，神经光场表示方法的最新进展在移动设备上展示了有希望的实时视角合成结果。我们发现使用光场平板表示对于学习神经光场是一种有效的表示方法。更重要的是，它是一种低维的射线表示方法，使我们能够使用相对更快的特征网格来学习 4D 射线空间。我们的方法提供了比以前的光场方法更高的渲染质量，并在渲染质量和速度之间实现了显著的改进平衡。

    Oct, 2023

  • 瞬态成像的近期进展：计算机图形学和视觉角度

    该论文从图形学和计算机视觉的角度介绍了瞬态成象在捕捉技术、分析、应用和仿真等方面的最新进展，重点在于在皮秒或纳秒时间分辨率上利用时域中丰富的信息，以展示光的运动、看透角落、探测散射介质中的物体、推断材料属性等等。

    Nov, 2016

  • 瞬时神经放射场用于激光雷达视图合成和三维重建

    本文提出了一种使用单光子激光雷达系统测量的时间分辨光子计数直方图来渲染瞬态 NeRFs 的新方法，并且通过少量输入视点的训练，相较于基于点云监督的方法能够更好地恢复几何和传统外观。瞬态 NeRFs 对于在自动驾驶、机器人技术和遥感领域中模拟原始激光雷达测量的下游任务特别有用。

    Jul, 2023