X-Fields: 隐式神经视图、光和时间影像插值
该研究提出了一种从单个视频学习动态场景的时空神经辐射场的方法,能实现自由视角渲染输入视频。该学习方法建立在最近关于内隐表示的进展之上,利用视频深度估计方法的场景深度来约束我们的动态场景表示的时变几何,将单个帧中内容聚合为一个全局表示,并提供了广泛的定量评估和引人注目的自由视点渲染结果。
Nov, 2020
本文介绍了一种基于深度神经网络的光场视频插值系统,将三帧每秒的光场图像和标准的 30 帧每秒二维视频相结合,使用流估计和外观估计生成一个完整的光场视频,使得消费级光场摄影和诸如聚焦和视差视图的应用首次可用于视频。
May, 2017
提出一种新的逆向渲染框架,能够从一组 RGB 图像中联合重建场景几何、空间变化的材料和 HDR 照明,并支持物理场景操作,例如射线跟踪阴影投射。
Apr, 2023
本文提出了一种基于四维光场表示的双阶段变压器模型,旨在弥合几何重建和经典光场渲染之间的差距,通过强制约束几何约束,使得场景几何隐含在稀疏的视角学习中,并在多个前向和 360 度数据集上超越了最先进技术,尤其是在视角变化剧烈的情况下。
Dec, 2021
本研究提出了一种隐式表示法,以捕捉物体表面在光场中的视觉外观,并证明了该方法能够在使用单个真实 RGB 图像和对应的三维形状信息时预测未见过的物体的视觉外观。该方法建立了一个连续的表面光场表示,独立于几何形状,并且在特定照明条件下可嵌入到可变自编码器中进行生成新的外观的任务中。
Mar, 2020
在移动设备上实时进行新视角图像合成由于有限的计算能力和存储而受到限制。体积渲染方法(如 NeRF 及其衍生方法)在移动设备上使用不适宜,因为其计算成本高。然而,神经光场表示方法的最新进展在移动设备上展示了有希望的实时视角合成结果。我们发现使用光场平板表示对于学习神经光场是一种有效的表示方法。更重要的是,它是一种低维的射线表示方法,使我们能够使用相对更快的特征网格来学习 4D 射线空间。我们的方法提供了比以前的光场方法更高的渲染质量,并在渲染质量和速度之间实现了显著的改进平衡。
Oct, 2023
本文提出了一种深度学习方法,用于复杂场景的新视角合成,通过将 3D 场景表示为光场,并采用两平面参数化的光场,用 4D 参数特征化光线,构建 4D 函数实现映射,最后采用全连接网络优化该函数并合成新视角,同时附加了 per-ray depth 预测,提高了光场渲染质量,实验表明本方法优于现有技术。
May, 2021
提出了一种基于时间插值的方法来训练动态场景的时空神经辐射场以及两种特征插值方法 (基于神经网络和网格),其中网格表示法的训练速度比之前的基于神经网络的方法提高了 100 倍以上。
Feb, 2023
该研究提供了一种基于连续体积参数化的方法,可以将场景表示为可以在新视点下进行渲染的 3D 表示,并且可在任意照明条件下呈现,包括间接光照效果,从而解决了以前的方法因光照环境变化而受限的问题。
Dec, 2020