May, 2024

RPBG：面向野外环境的鲁棒神经点图形

PDF
TL;DR经深入分析 Neural Point-based Graphics (NPBG) 方法在通用数据集上无法实现令人满意的渲染效果，本研究提出了 Robust Point-based Graphics (RPBG) 方法，通过启发图像修复方法，大大增强了神经渲染器的能力，使其能够根据点的可见性进行修正，并补全不完整的光栅化，同时，通过简单轻量的环境建模和迭代方法，缓解了几何问题。经过对不同拍摄条件和摄像机轨迹的广泛评估，RPBG 在性能上明显优于基线方法，并展现了其对最新的 NeRF-based 变体的强大鲁棒性。
point-based representationsnovel view synthesisneural point-based graphicsrobust point-based graphicsneural renderer
发现论文，激发创造
  • 神经网格图形

    通过采用一种基于网格的更密集的点描述符光栅化方法，以及前景 / 背景场景渲染分离和改进的损失函数，我们在单个场景上进行训练而不是在 ScanNet 上进行训练并进行场景微调的 NPBG 的情况下实现了数据高效学习和快速视图合成，并且表现优于 NPBG 和与 SVS 竞争，尽管 SVS 具有更深的神经渲染基准。

    Aug, 2022

  • NPBG++：加速神经点模型图形

    本文提出了一种名为 NPBG++ 的系统用于新视角合成任务，通过使用多视角观测和静态场景的点云预测每个点的神经描述符，从而在低场景拟合时间的情况下实现高渲染逼真度，且不需要每场景优化的要求，从而在多方面优于神经点图形管道。

    Mar, 2022

  • 神经点基图形学

    本研究提出了一种基于点的方法，使用可学习的神经描述符来编码局部几何和外观信息，并学习深度渲染网络生成具有照片般逼真感觉的场景视图，同时避免显式表面估计和网格化，并适用于各种复杂场景，包括使用 RGB-D 传感器与标准 RGB 相机进行扫描的场景。

    Jun, 2019

  • 用学习增强的点表示学习鲁棒且具有普适性的辐射场与可见性特征

    提出了一种新型的泛化神经辐射场（NeRF）范式，通过基于点而非基于图像的渲染构建了可泛化的神经场，称之为可泛化神经点场（GPF）。该模型通过显式建模可见性并将其与神经特征相结合，提出了一种非均匀取样策略以提高渲染速度和重构质量，并利用特征增强的可学习内核在具有差异性几何结构的区域缓解形变。该研究表明，相比于其他方法和基准数据集，该模型在三个数据集上无论在泛化还是微调设置下，都能提供更好的几何形状、视角一致性和渲染质量，初步证明了该新范式在泛化 NeRF 中的潜力。

    Jan, 2024

  • 基于点的神经渲染与每视图优化

    介绍了一种基于多视角渲染的新型的神经渲染方法，该方法可以进一步优化场景属性，包括深度和重投影特征，从而实现改善的新视图合成。

    Sep, 2021

  • GPN: 生成点云模型的 NeRF

    使用生成式基于点云的逆向正向（Generative Point-based NeRF）方法通过利用扫描图像和对应的重建点云修复局部点云，从而实现高空间分辨率下与捕获的图像的多视角一致性。实验证明，该方法在点云基于神经场景渲染和编辑领域表现出与其他最先进方法竞争力的性能。

    Apr, 2024

  • INPC：用于辐射场渲染的隐式神经点云

    我们介绍了一种新的方法，用于无界现实世界场景的重建和新视角合成。与以前使用体积场、基于网格的模型或离散点云代理的方法不同，我们提出了一种混合场景表示，它在连续的八叉树概率场和多分辨率哈希网格中隐式编码点云。通过这样做，我们结合了两个世界的优势，通过保留优化过程中的有利行为：我们的新颖隐式点云表示和可微分双线性光栅化器可以实现快速渲染，同时保持细节几何细节而不依赖于像运动点云那样的初始先验知识。我们的方法在几个常见基准数据集上实现了最先进的图像质量。此外，我们以交互帧率实现了快速推断，并可以提取显式点云以进一步提高性能。

    Mar, 2024

  • DGNR：大型驾驶场景的密度引导神经点渲染

    通过学习密度空间并引导构建点云渲染器的新框架 DGNR（Density-Guided Neural Rendering）解决了 Neural Radiance Field 在渲染大规模驾驶场景时的挑战，实现了合适的渲染质量和高效率。

    Nov, 2023

  • 用于单目非刚性物体重建的神经参数高斯模型

    通过引入神经参数高斯（NPGs）模型，本文通过两阶段的方法来重建动态物体，即先学习对象的变形，再通过优化三维高斯模型来获得高质量的物体重建，从而在新视角中保持三维一致性，并在少量多视图线索的挑战性场景中取得优越的结果。

    Dec, 2023

  • 点级别三维场景反射率和阴影编辑的本质峰均比

    我们提出了一种基于最新的点云神经渲染技术 Proximity Attention Point Rendering（PAPR）的新方法 “Intrinsic PAPR”，该方法直接对场景分解为颜色和阴影组件进行建模，以实现更好的估计准确性，并在与最新的点云反渲染方法的比较评估中展现出更高质量的新视角渲染和更优越的点级颜色和阴影编辑。

    Jun, 2024