BiGS:双向高斯原语用于可重光照的3D高斯溅射
我们介绍了pixelSplat,这是一个前馈模型,可以从图像对中学习重建由3D高斯基元参数化的3D辐射场。我们的模型具有实时和内存高效的渲染,可进行可扩展训练和快速3D重建。为了克服稀疏和局部表示固有的局部最小值问题,我们预测了3D上的密集概率分布,并从该概率分布中采样高斯均值。我们通过参数化技巧使采样操作可微分,从而使得我们能够通过高斯平铺表示进行梯度反向传播。我们在现实世界的RealEstate10k和ACID数据集上对我们的方法进行了广泛的基线新视角合成基准测试,表明我们在重建可解释和可编辑的3D辐射场时,胜过现有最先进的光场转换器,并且加快了渲染速度2.5个数量级。
Dec, 2023
3D高斯喷洒是一种能够实时渲染的、可控且可编辑的3D重建和表示方法,通过显式场景表示和可微分的渲染算法,提供了独特的优势,为下一代3D重建和表示技术带来了潜在的变革。本文首次系统综述了3D高斯喷洒的最新进展和重要贡献,包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估,并指出当前挑战和未来研究的发展方向。
Jan, 2024
通过将三维体积转化为一组二维定向平面高斯盘,使用透视准确的二维喷洒过程,结合深度扭曲和法线一致性项,实现从多视角图像中准确重建细表面并提高重建质量的一种方法。
Mar, 2024
通过使用三维高斯图案生成器更新辐射场,本研究论文解决了对象去除的复杂挑战,主要挑战在于在高斯图案的离散性质中保持几何一致性和纹理协调性。通过优化高斯图案的定位以提高去除区域和可见区域的几何一致性,再结合跨注意力设计的新颖特征传递机制来增强纹理协调性,该创新方法在最终辐射场中显著提高了纹理协调性。广泛的实验证实了我们的方法不仅提升了对象去除场景的新视图合成质量,而且在训练和渲染速度上也具有显著的效率提升。
Apr, 2024
通过对3D高斯散射方法进行内存优化以减少存储和传输需求,提出了使用高斯基元、球面谐波系数和编码簿量化的解决方案,从而在标准数据集上实现了27的整体大小减少和1.7的渲染速度加快。
Jun, 2024
融合了3D高斯喷洒与八叉树隐式表面表示的新方法用于重构精确几何,尤其适用于受强照明影响导致的镜面高光图像。
Jun, 2024
本文提出GS-ID框架,针对高斯散射中的光照分解问题,解决了几何和材料先验不足、多个未知光源的复杂光照条件以及高计算开销等挑战。通过引入内在扩散先验和联合优化环境光和直接光的分离,该框架实现了可控的光照重塑,展现出优越的光照分解效果、几何重建及渲染性能。
Aug, 2024
该研究解决了在重建和重新照明散射材料物体时面临的次表面光传输复杂性问题。提出了一种新颖的框架,通过优化物体形状和辐射传输场来改善3D Gaussian Splatting在处理次表面散射方面的表现。研究结果表明,该方法在优化时间和渲染效率显著提高的同时,还能实现详细的材料属性控制和实时视图合成。
Aug, 2024