TRIPS:三线性点精细划分的实时辐射场渲染
本研究提出了一种名为 RadSplat 的轻量级方法,用于复杂场景的鲁棒实时渲染。该方法通过使用辐射场作为先验和监督信号来优化基于点的场景表示,提高了渲染质量和鲁棒优化。同时,我们开发了一种新颖的剪枝技术,减少了点的数量且保持高质量,使场景表示更小、更紧凑,并具有更快的推理速度。此外,我们提出了一种新颖的测试时间滤波方法,进一步加快了渲染速度,并可以扩展到更大的场景。实验证明,我们的方法实现了 900 + 帧每秒的复杂场景综合效果,达到了最先进水平。
Mar, 2024
我们提出了三个关键要素,可实现高质量的实时(大于等于 30 帧 / 秒)1080p 分辨率的新视图合成,其中包括使用 3D 高斯函数表示场景、优化 3D 高斯函数的相关参数以准确表示场景,并开发了一种快速的可见性感知渲染算法,以加速训练并实现实时渲染。
Aug, 2023
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述,提供了一个 3D 高斯喷涂方法的分类,包括 3D 重建、3D 编辑和其他功能应用,以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动 3D 高斯喷涂表示法的未来发展。
Mar, 2024
我们提出了一种新颖的实时去模糊框架,利用小型多层感知机(MLP)操纵每个 3D 高斯的协方差来建模场景的模糊程度,从模糊的图像中重构出细节清晰的图像,实现实时渲染。
Jan, 2024
提出了一种名为 Superpoint Gaussian Splatting(SP-GS)的新框架,该框架通过使用显式的 3D 高斯函数来重构场景,并将具有相似属性的高斯函数聚类成超点,从而实现了对动态场景的实时渲染,获得了最新的视觉质量。
Jun, 2024
我们介绍了 pixelSplat,这是一个前馈模型,可以从图像对中学习重建由 3D 高斯基元参数化的 3D 辐射场。我们的模型具有实时和内存高效的渲染,可进行可扩展训练和快速 3D 重建。为了克服稀疏和局部表示固有的局部最小值问题,我们预测了 3D 上的密集概率分布,并从该概率分布中采样高斯均值。我们通过参数化技巧使采样操作可微分,从而使得我们能够通过高斯平铺表示进行梯度反向传播。我们在现实世界的 RealEstate10k 和 ACID 数据集上对我们的方法进行了广泛的基线新视角合成基准测试,表明我们在重建可解释和可编辑的 3D 辐射场时,胜过现有最先进的光场转换器,并且加快了渲染速度 2.5 个数量级。
Dec, 2023
融合了 3D 高斯喷洒与八叉树隐式表面表示的新方法用于重构精确几何,尤其适用于受强照明影响导致的镜面高光图像。
Jun, 2024
通过前向推理,我们介绍了一种从单张图像高效生成三维模型的新方法,利用基于 Transformer 的网络,即点解码器和三面解码器,通过混合的 Triplane-Gaussian 中间表示重建三维物体,从而在渲染速度和渲染质量上实现了平衡,并比之前的技术在质量和运行时间方面取得了更好的效果。
Dec, 2023
本文提出了一种使用各向同性高斯核避免计算困难的高效方法,实验证实该方法在保持几何表示精度的同时大约快了 100 倍,并可应用于需要辐射场的广泛应用领域,如 3D 重建、视图合成和动态物体建模。
Mar, 2024
本文介绍了一种新的全向高斯散乱系统 ——OmniGS,它利用全向图像进行快速辐射场重建,通过对全向相机模型导数的理论分析,在 GPU 加速的全向光栅化器中直接对高斯函数进行散乱,实现了辐射场的可微优化,无需立方体贴图矫正或切平面近似。实验结果表明,该方法在自我中心和移动场景中实现了最先进的重建质量和高渲染速度,并在论文发表后将公开提供代码。
Apr, 2024