NPBG++:加速神经点模型图形
通过采用一种基于网格的更密集的点描述符光栅化方法,以及前景 / 背景场景渲染分离和改进的损失函数,我们在单个场景上进行训练而不是在 ScanNet 上进行训练并进行场景微调的 NPBG 的情况下实现了数据高效学习和快速视图合成,并且表现优于 NPBG 和与 SVS 竞争,尽管 SVS 具有更深的神经渲染基准。
Aug, 2022
经深入分析 Neural Point-based Graphics (NPBG) 方法在通用数据集上无法实现令人满意的渲染效果,本研究提出了 Robust Point-based Graphics (RPBG) 方法,通过启发图像修复方法,大大增强了神经渲染器的能力,使其能够根据点的可见性进行修正,并补全不完整的光栅化,同时,通过简单轻量的环境建模和迭代方法,缓解了几何问题。经过对不同拍摄条件和摄像机轨迹的广泛评估,RPBG 在性能上明显优于基线方法,并展现了其对最新的 NeRF-based 变体的强大鲁棒性。
May, 2024
本研究提出了一种基于点的方法,使用可学习的神经描述符来编码局部几何和外观信息,并学习深度渲染网络生成具有照片般逼真感觉的场景视图,同时避免显式表面估计和网格化,并适用于各种复杂场景,包括使用 RGB-D 传感器与标准 RGB 相机进行扫描的场景。
Jun, 2019
本文提出了一种从单个 RGBD 输入合成新视角图像的方法,通过利用 RGBD 图像中嵌入的深度信息,将 NVS 任务转换成图像转换问题,并使用生成对抗网络实现类似于从新视角拍摄的照片的结果,而不受传统多图像技术的限制。
Nov, 2023
我们提出了一种逼真的实时小说视角综合(NVS)大场景的新方法,通过将中等质量的脚手架网格作为输入,学习神经纹理场和着色器以增强逼真感,同时使用标准图形管道进行实时渲染,我们的方法在大型自动驾驶和无人机场景中提供至少 30 倍更快的渲染速度与可比或更好的逼真度,我们的工作是首次实现大型真实世界场景的实时渲染。
Nov, 2023
本文提出了一种基于加速采样和哈希编码的框架 BAA-NGP,它能够加快位姿估计、场景重建和新视角合成的处理速度,并在不降低位姿估计质量的情况下,比其他基于束调整的神经辐射场方法提高了十倍至二十倍的速度。
Jun, 2023
我们提出了两种新的输入处理范例来对基于分层场景表示的新视角综合(NVS)方法进行改进,极大地提高了其运行时速度而不损失质量,实现了实时应用。
Dec, 2023
本文提出了一种名为 FWD 的新颖视角综合方法,该方法使用稀疏输入,在保持实时性的同时以高质量的合成图像为结果。通过使用显式的深度和可微分渲染,可以获得和当前最先进的方法相当的结果,速度提高了 130-1000 倍,并具有更好的感知质量。该方法可以无缝地集成传感器深度,以在保持实时速度的同时提高图像质量。本方法有望得到越来越广泛而有用的应用。
Jun, 2022
LiveNVS 是一个实时 RGB-D 重建系统,利用神经网络渲染方法,能够在实时流处理中进行神经网络的新视图合成,使用户能够实时虚拟探索场景并评估重建质量。
Nov, 2023