GSD:基于视角引导的高斯飞溅扩散用于三维重建
基于高斯喷射的文本到三维内容生成框架,通过控制高斯球的透明度实现更真实的图像生成;通过引入多视角噪声分布矫正多视角几何中的不一致性;使用变分高斯喷射技术提高三维外观的质量和稳定性。
Nov, 2023
我们提出了 GS-IR,一种基于3D高斯零碎描绘的新型逆向渲染方法,利用前向映射体积渲染实现逼真的新视角合成和重新照明结果。我们通过对多视图图像进行捕捉,从未知照明条件中估计场景几何、表面材质和环境照明,克服了先前使用隐式神经表示和体积渲染(如NeRF)的方法在表达能力和计算复杂性上的问题。我们的GS-IR通过引入基于深度推导的法线估计的正则化和基于烘焙的遮挡来模拟间接光照,提出了一个高效的优化方案来解决GS引入逆向渲染时遇到的问题。灵活且具有表现力的GS表示使我们能够实现快速紧凑的几何重建、逼真的新视角合成和有效的基于物理的渲染。通过在各种具有挑战性的场景上进行定性和定量评估,我们证明了我们的方法的优越性。
Nov, 2023
3D高斯喷洒是一种能够实时渲染的、可控且可编辑的3D重建和表示方法,通过显式场景表示和可微分的渲染算法,提供了独特的优势,为下一代3D重建和表示技术带来了潜在的变革。本文首次系统综述了3D高斯喷洒的最新进展和重要贡献,包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估,并指出当前挑战和未来研究的发展方向。
Jan, 2024
本文研究了3D高斯喷射技术中的密度控制策略的不足之处,分析了导致过度重构和模糊渲染的原因,并提出了一种新的视图空间渐变方向梯度作为密度增加的判据,有效地解决了该问题,并在各种挑战性数据集上进行了评估,结果显示我们的方法在渲染质量上表现最佳,同时内存消耗降低或相似。
Apr, 2024
我们的研究论文提出了一种基于扩散模型的引导方法,通过改进经过训练的3D-GS来增强新视角的渲染效果,显著减少了伪影,并在评估指标上获得明显的改进。此外,我们的方法具有通用性,可以轻松整合到各种3D重建项目中。
Apr, 2024
图像基于的三维重建是一项具有挑战性的任务,涉及从一组输入图像中推断出对象或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到关注。本综述论文着重介绍了三维重建的最新技术,包括生成新颖未见视角的方法。论文提供了对高斯激波方法的最新发展的概述,包括输入类型、模型结构、输出表示和训练策略。未解决的挑战和未来的研究方向也得到了讨论。鉴于该领域的快速进展以及增强三维重建方法的众多机会,对算法进行全面的研究至关重要。因此,本研究全面概述了高斯激波最新进展。
May, 2024
基于神经渲染技术,本研究提出了一种使用3D Half-Gaussian核的方法,以改进当前3D Gaussian splatting方法的性能,在不影响渲染速度的情况下,在多个数据集上获得了最先进的渲染性能。
Jun, 2024
本文提出GS-ID框架,针对高斯散射中的光照分解问题,解决了几何和材料先验不足、多个未知光源的复杂光照条件以及高计算开销等挑战。通过引入内在扩散先验和联合优化环境光和直接光的分离,该框架实现了可控的光照重塑,展现出优越的光照分解效果、几何重建及渲染性能。
Aug, 2024
本研究针对稀疏视图三维场景重建问题,通过利用大规模视觉模型的先验信息来提升重建质量。提出了一种名为LM-Gaussian的新方法,结合立体先验和扩散基的优化过程,实现了在少量图像下的高质量重建,显著降低了数据获取需求,具有广泛的应用潜力。
Sep, 2024
本研究旨在解决3D高斯喷溅模型在单场景训练中过拟合与高斯椭球体初始化敏感性的问题,提出了GS-Net,即一种通用的即插即用3D高斯喷溅模块,通过从稀疏的SfM点云中增强高斯椭球体的密度。研究结果表明,GS-Net在传统和新颖视点上显著提高了重建和渲染质量,展示了其广泛的实用性和强大的适应能力。
Sep, 2024