使用简单编辑的频率调制点云渲染
提出了 FrePolad:一种整合变分自编码器 (VAE) 和去噪扩散概率模型 (DDPM) 用于点云生成的频率校正点潜扩散的流水线,它在保持高效计算的同时实现了生成任务中的高质量、多样性和灵活性,通过 (1) 通过球谐函数设计的新型频率校正模块来保留高频内容,从而学习点云分布;和 (2) 学习正则化但复杂的潜在分布的潜在 DDPM;此外,FrePolad 通过将点的采样归结为潜在形状分布上的条件分布来支持可变的点云基数;最后,由 VAE 编码的低维潜在空间有助于 FrePolad 的快速和可扩展的采样。我们的定量和定性结果证明了 FrePolad 在质量、多样性和计算效率方面的最先进性能。
Nov, 2023
本文旨在提升点云渲染的图像质量。我们基于容积渲染公式及空间映射的分析,简化 NeRF 表示为只需每像素一次评估的空间映射函数。同时,本文还提出了用射线行进法对嘈杂的原始点云进行矫正,以避免空间频率崩溃和邻域点干扰。我们的方法在点云渲染方面取得了最先进的性能,使用更小的模型尺寸优于之前的研究,其中包括 NeRF-Synthetic(31.74),ScanNet(25.88)和 DTU(30.81)的 PSNR。
Oct, 2022
该研究设计了 FPS-Net 网络,利用点云投影图像的不同特征进行多模态特征融合,旨在优化点云的分段。该网络的有效性在广泛实验中得到证明,可以实现优于现有方法的语义分割,并且引入的多模态融合思想也兼容于典型的投影方法。
Mar, 2021
本文提出了基于点分形网络的学习方法 Point Fractal Network(PF-Net),用于精确高保真度的点云补全,通过多尺度生成网络进行缺失点云的预测。同时,通过多阶段的补全误差和对抗损失来生成更真实的缺失区域,实验证明了该方法的有效性。
Mar, 2020
利用基于网格的表示和频域表示的频谱 MipAA 方法,通过利用尺度特定的低通滤波器(LPF)和可学习的频谱遮罩,在保留重要细节的同时有效消除锯齿因素,以解决 Neural Radiance Fields 在生成 3D 场景和渲染不同相机距离下的图像时的走样问题。
Jun, 2024
该论文介绍了一种新的基于神经网络点云的辐射场模型 ——Point-NeRF,它结合了 NeRF 和深度多视图立体成像两种方法的优点,可用于高质量的视图合成和快速的场景几何重建。Point-NeRF 可以通过射线行走的渲染管道有效地渲染神经点特征,相对于 NeRF 具有快速训练和处理 3D 重建错误和异常数据的优势。
Jan, 2022
使用多尺度稀疏体素网格聚合点云,平均多个尺度以克服点云稀疏性,在全局尺度加入体素表示模拟无点区域,并在 NeRF 合成、ScanNet 和 KITTI-360 数据集上验证方法,显著优于现有技术。
Dec, 2023
基于频谱网格的表示学习方法应用于虚拟世界中的参数化模型,提供了在不同频率级别上独立编辑变形的能力,并通过不同的表示方式改进了生成网格的几何和感知质量。
Feb, 2024
我们介绍了一种新的方法,用于无界现实世界场景的重建和新视角合成。与以前使用体积场、基于网格的模型或离散点云代理的方法不同,我们提出了一种混合场景表示,它在连续的八叉树概率场和多分辨率哈希网格中隐式编码点云。通过这样做,我们结合了两个世界的优势,通过保留优化过程中的有利行为:我们的新颖隐式点云表示和可微分双线性光栅化器可以实现快速渲染,同时保持细节几何细节而不依赖于像运动点云那样的初始先验知识。我们的方法在几个常见基准数据集上实现了最先进的图像质量。此外,我们以交互帧率实现了快速推断,并可以提取显式点云以进一步提高性能。
Mar, 2024