Nov, 2023

大规模场景神经表示的点扩散隐式函数

PDF
TL;DR通过学习场景的表面分布、减小可采样空间并采用 Point Diffusion implicit Function (PDF) 方法，实现了大规模场景的神经表示，其中包括利用扩散模块将稀疏点云转化为密集点云作为先验，并通过基于 Mip-NeRF 360 的区域采样来填充场景的背景，该方法在大规模场景的新视角合成中效果显著优于相关最先进技术。
implicit neural representationslarge-scale scenepoint clouddiffusion modulenovel view synthesis
发现论文，激发创造
  • PointInfinity: 分辨率不变的点扩散模型

    PointInfinity 是一种高效的点云扩散模型，使用基于 transformer 的架构和固定大小的分辨率不变的潜在表示，可以在训练过程中使用低分辨率点云实现高效训练，同时在推理过程中生成高分辨率的点云。实验表明，PointInfinity 可以以最先进的质量高效生成高分辨率的点云。

    Apr, 2024

  • 神经点光场

    采用神经隐式点光场方法实现体积渲染，通过几百个样本进行射线投射，通过点云实现大场景动态渲染视频，与现有的方法相比，新方法的视角预测能力更强。

    Dec, 2021

  • INPC：用于辐射场渲染的隐式神经点云

    我们介绍了一种新的方法，用于无界现实世界场景的重建和新视角合成。与以前使用体积场、基于网格的模型或离散点云代理的方法不同，我们提出了一种混合场景表示，它在连续的八叉树概率场和多分辨率哈希网格中隐式编码点云。通过这样做，我们结合了两个世界的优势，通过保留优化过程中的有利行为：我们的新颖隐式点云表示和可微分双线性光栅化器可以实现快速渲染，同时保持细节几何细节而不依赖于像运动点云那样的初始先验知识。我们的方法在几个常见基准数据集上实现了最先进的图像质量。此外，我们以交互帧率实现了快速推断，并可以提取显式点云以进一步提高性能。

    Mar, 2024

  • PointNeRF++: 多尺度、基于点的神经辐射场

    使用多尺度稀疏体素网格聚合点云，平均多个尺度以克服点云稀疏性，在全局尺度加入体素表示模拟无点区域，并在 NeRF 合成、ScanNet 和 KITTI-360 数据集上验证方法，显著优于现有技术。

    Dec, 2023

  • 神经隐式表面的体绘制

    该论文旨在提高神经体积渲染中几何表示和重建的质量，通过将体积密度定义为拉普拉斯累积分布函数作为有符号距离函数的表示，实现了形状和外观的有效无监督解缠，并在具有多视图的数据集中获得了高质量的几何重建结果。

    Jun, 2021

  • 神经点云扩散用于解耦的 3D 形状和外观生成

    在电影、游戏、工程以及增强 / 虚拟现实等多种实际应用中，可控地生成 3D 资产具有重要意义。最近，扩散模型在生成 3D 对象的质量方面取得了显著的成果。然而，现有模型中没有一个能够实现对形状和外观的分离生成。我们首次提出了一种适用于 3D 扩散模型的合适表示方法，通过引入混合的点云和神经辐射场方法实现了这种分离，模拟了点位置的扩散过程，并结合高维特征空间的局部密度和亮度解码器。点位置表示对象的粗略形状，而点特征则允许对几何形状和外观细节进行建模。这种分离使得我们能够独立地对二者进行采样和控制。与之前的分离能力方法相比，我们的方法在生成方面达到了新的技术水平，降低了 30-90% 的 FID 分数，并且与其他非分离能力的最先进方法处于同一水平。

    Dec, 2023

  • 稀疏潜点扩散模型控制的带限网格生成

    通过设计一种新颖的稀疏潜点扩散模型，将点云作为中间表示建模并控制生成的网格的整体结构和局部细节，以提高效率和可控性，实现了在生成质量和可控性方面与现有方法相比优越的网格生成。

    Mar, 2023

  • 3D 点云生成的扩散概率模型

    本文提出了一个概率模型，将点云看作是处于非平衡热力学系统内的粒子，并通过扩散过程学习将噪声分布转换为所需形状分布的逆扩散过程，即点云生成过程。具体地，将点云的逆扩散过程建模为一个以某个形状因子为条件的马尔科夫链，并提供了闭合形式的变分下界以进行训练。实验结果显示，该模型在点云生成和自编码方面具有竞争性能。

    Mar, 2021

  • DELFlow：大规模点云场景流量的稠密高效学习

    通过将三维坐标储存在二维网格中，以稠密格式规范点云数据并提供有效的特征融合，从而在场景流估计问题上提供更高效和有效的方法。

    Aug, 2023

  • DiffPoint: 用基于 ViT 的扩散模型进行单视点云和多视点云重建

    本文提出了一种将 ViT 和扩散模型结合的 DiffPoint 架构，用于 2D 到 3D 重建的任务，通过将嘈杂的点云分割成不规则块，在每个扩散步骤中利用 ViT 模型训练以预测目标点，实现了在单视图和多视图重建任务中的最先进结果，并且引入了一种统一且灵活的特征融合模块用于聚合来自不同输入图像的特征，进一步证明了应用统一架构于语言和图像之间以提升 3D 重建任务的可行性。

    Feb, 2024