CVPRApr, 2023

指针扫描：基于云 - 射线相交的神经渲染

PDF
TL;DR本文提出了一种新的方法，将点云渲染成表面，该方法可微并且不需要特定于场景的优化，可以用于表面法线估计、渲染全局点云、反向渲染和光线跟踪。通过直接推断给定点云所代表的底层表面与光线的交点，通过训练一个集合转换器可以将局部邻居点与光线的交点、表面法线和材料混合权重结合起来，使用 48 个网格进行模型训练，可应用于未见过的点云上，实现了比现有表面重建和点云渲染方法更高的估计精度。
发现论文，激发创造
  • INPC：用于辐射场渲染的隐式神经点云

    我们介绍了一种新的方法，用于无界现实世界场景的重建和新视角合成。与以前使用体积场、基于网格的模型或离散点云代理的方法不同，我们提出了一种混合场景表示，它在连续的八叉树概率场和多分辨率哈希网格中隐式编码点云。通过这样做，我们结合了两个世界的优势，通过保留优化过程中的有利行为：我们的新颖隐式点云表示和可微分双线性光栅化器可以实现快速渲染，同时保持细节几何细节而不依赖于像运动点云那样的初始先验知识。我们的方法在几个常见基准数据集上实现了最先进的图像质量。此外，我们以交互帧率实现了快速推断，并可以提取显式点云以进一步提高性能。

    Mar, 2024

  • 神经点基图形学

    本研究提出了一种基于点的方法，使用可学习的神经描述符来编码局部几何和外观信息，并学习深度渲染网络生成具有照片般逼真感觉的场景视图，同时避免显式表面估计和网格化，并适用于各种复杂场景，包括使用 RGB-D 传感器与标准 RGB 相机进行扫描的场景。

    Jun, 2019

  • 基于神经光线的遮挡感知图像渲染

    提出了一种名为 NeuRay 的新型神经表征方法，采用其对新视角综合进行了建模，并通过预测输入视图中可见的点的可见性及自适应损失函数的应用，在实现对无先前场景图像的泛化的同时实现了图像渲染的优化。

    Jul, 2021

  • 基于多平面投影的神经网络点云渲染

    本研究提出了一种新的深度学习点云渲染管道，通过多平面投影将点云特征投射到摄像机视锥体的分层体积中，然后通过卷积神经网络产生多层图像，并根据学习到的权重混合图像，最终实现对具有挑战的场景进行更稳定的渲染。

    Dec, 2019

  • 可重亮的 3D 高斯函数：使用 BRDF 分解和光线追踪的实时点云重照

    我们提出了一种新颖的可微分的基于点的渲染框架，用于从多视图图像中进行材料和光照分解，实现对 3D 点云的编辑、光线跟踪和实时换光。

    Nov, 2023

  • 神经点光场

    采用神经隐式点光场方法实现体积渲染，通过几百个样本进行射线投射，通过点云实现大场景动态渲染视频，与现有的方法相比，新方法的视角预测能力更强。

    Dec, 2021

  • 通用补丁基础神经渲染

    该研究提出一种新的方法，利用极线几何法提取采样自场景的块，将其通过一系列变换器进行预处理后预测目标采样射线的颜色，从而在不需要深度特征和 NeRF-like 卷积体积渲染的情况下，实现对未见过的场景的新视图综合，其具有更好的泛化性能，并且即使使用比以前工作少得多的数据进行训练，也能胜过现有技术水平。

    Jul, 2022

  • 基于预测内外在比率指导的点云网格化

    本文提出了一种新的基于深度学习的方法，旨在从点云中重建物体表面网格表示，通过预测点云中三元组之间的连通性关系来生成高质量网格，并证明该方法在处理细节保留、模糊结构等实际问题时表现良好。

    Jul, 2020

  • 基于 Transformer 的表面法向量估计

    使用 Transformer 从带有噪声和密度变化的点云中准确预测法线，在合成形状数据集 PCPNet 和真实世界室内场景数据集 SceneNN 上实现了最先进的性能，表现出更强的抗噪性和显著更快的推理速度，同时证明了现有工作中的复杂手工设计模块在表面法线估计任务中并非必需。

    Jan, 2024

  • 野外神经渲染

    本研究通过对旅游地标的网络照片进行传统 3D 重建，将场景逼近为一个点云，并在每张照片上进行重新渲染。使用神经网络学习初始渲染到实际照片的映射，还考虑到短暂物体的位置以进行场景修正。通过多个公共数据集的评估，展示了场景外观和语义标签的真实操作。与之前的场景重建工作进行了比较。

    Apr, 2019