Mar, 2024

INPC：用于辐射场渲染的隐式神经点云

PDF
TL;DR我们介绍了一种新的方法，用于无界现实世界场景的重建和新视角合成。与以前使用体积场、基于网格的模型或离散点云代理的方法不同，我们提出了一种混合场景表示，它在连续的八叉树概率场和多分辨率哈希网格中隐式编码点云。通过这样做，我们结合了两个世界的优势，通过保留优化过程中的有利行为：我们的新颖隐式点云表示和可微分双线性光栅化器可以实现快速渲染，同时保持细节几何细节而不依赖于像运动点云那样的初始先验知识。我们的方法在几个常见基准数据集上实现了最先进的图像质量。此外，我们以交互帧率实现了快速推断，并可以提取显式点云以进一步提高性能。
发现论文，激发创造
  • 神经点光场

    采用神经隐式点光场方法实现体积渲染，通过几百个样本进行射线投射，通过点云实现大场景动态渲染视频，与现有的方法相比，新方法的视角预测能力更强。

    Dec, 2021

  • 神经点基图形学

    本研究提出了一种基于点的方法，使用可学习的神经描述符来编码局部几何和外观信息，并学习深度渲染网络生成具有照片般逼真感觉的场景视图，同时避免显式表面估计和网格化，并适用于各种复杂场景，包括使用 RGB-D 传感器与标准 RGB 相机进行扫描的场景。

    Jun, 2019

  • PointNeRF++: 多尺度、基于点的神经辐射场

    使用多尺度稀疏体素网格聚合点云，平均多个尺度以克服点云稀疏性，在全局尺度加入体素表示模拟无点区域，并在 NeRF 合成、ScanNet 和 KITTI-360 数据集上验证方法，显著优于现有技术。

    Dec, 2023

  • 指针扫描：基于云 - 射线相交的神经渲染

    本文提出了一种新的方法，将点云渲染成表面，该方法可微并且不需要特定于场景的优化，可以用于表面法线估计、渲染全局点云、反向渲染和光线跟踪。通过直接推断给定点云所代表的底层表面与光线的交点，通过训练一个集合转换器可以将局部邻居点与光线的交点、表面法线和材料混合权重结合起来，使用 48 个网格进行模型训练，可应用于未见过的点云上，实现了比现有表面重建和点云渲染方法更高的估计精度。

    Apr, 2023

  • 通过辐射映射提升点云渲染效果

    本文旨在提升点云渲染的图像质量。我们基于容积渲染公式及空间映射的分析，简化 NeRF 表示为只需每像素一次评估的空间映射函数。同时，本文还提出了用射线行进法对嘈杂的原始点云进行矫正，以避免空间频率崩溃和邻域点干扰。我们的方法在点云渲染方面取得了最先进的性能，使用更小的模型尺寸优于之前的研究，其中包括 NeRF-Synthetic（31.74），ScanNet（25.88）和 DTU（30.81）的 PSNR。

    Oct, 2022

  • 基于点的神经辐射场模型：Point-NeRF

    该论文介绍了一种新的基于神经网络点云的辐射场模型 ——Point-NeRF，它结合了 NeRF 和深度多视图立体成像两种方法的优点，可用于高质量的视图合成和快速的场景几何重建。Point-NeRF 可以通过射线行走的渲染管道有效地渲染神经点特征，相对于 NeRF 具有快速训练和处理 3D 重建错误和异常数据的优势。

    Jan, 2022

  • 神经核表面重建

    本文提出了一种从大规模、稀疏且带噪声的点云中重建三维隐式表面的新方法，采用神经内核场（NKF）表示法，通过紧凑支持的核函数扩展规模，利用内存高效的稀疏线性求解器进行计算，并采用梯度拟合求解方法来提高抗噪性能，同时还最小化了训练要求，能够处理不同尺度物体和场景混合训练数据的情况。该方法能够在几秒钟内重建数百万个点，并能够处理非常大的场景。该方法在由单个物体、室内和室外场景组成的重建基准测试中取得了最先进的结果。

    May, 2023

  • 使用阴影和高光提示重新照明神经辐射场

    本研究提出了一种新颖的神经隐式亮度表示方法，用于从一小组不规则的物体照片中进行自由视角重照。我们通过多层感知器将形状表示为有符号距离函数。与先前的隐式神经重照方法不同，我们没有分离不同的反射分量，而是通过第二个多层感知器在每个点上模拟局部和全局反射，并融合阴影和高光提示来辅助网络对应的高频光传输效果建模。在合成和真实场景中展示和验证了我们的神经隐式表示方法，这些场景具有各种形状、材料属性和全局光照传输。

    Aug, 2023

  • 基于多平面投影的神经网络点云渲染

    本研究提出了一种新的深度学习点云渲染管道，通过多平面投影将点云特征投射到摄像机视锥体的分层体积中，然后通过卷积神经网络产生多层图像，并根据学习到的权重混合图像，最终实现对具有挑战的场景进行更稳定的渲染。

    Dec, 2019

  • 用于神经辐射场实时渲染的 PlenOctrees

    该研究提出了一种使用 PlenOctrees 进行神经辐射场（NeRFs）实时渲染的方法，以支持视角相关的效果，该方法可在保证渲染质量的情况下渲染 800x800 像素以上的图像，并能在 150 FPS 以上的速度下运行。

    Mar, 2021