镜中的高斯散射:通过虚拟摄像机优化实现反射感知渲染
本文介绍了一种名为GaussianShader的新方法,通过在三维高斯函数上应用简化的着色函数,提升了在具有反射表面的场景中的神经渲染效果,并保持了训练和渲染的效率。通过基于三维高斯函数的最短轴方向设计了一种新颖的法线估计框架,并使用精心设计的损失函数使法线与高斯球的几何形状一致。实验证明,GaussianShader在效率和视觉质量之间取得了可观的平衡,相较于处理反射表面的先前方法,如Ref-NeRF,我们的方法显著加速了优化时间(23小时对比0.58小时),在具有镜面对象数据集上的峰值信噪比方面也超过了Gaussian Splatting,实现了1.57dB的提升。请点击访问我们的项目网站以查看更多结果。
Nov, 2023
3D高斯喷洒是一种能够实时渲染的、可控且可编辑的3D重建和表示方法,通过显式场景表示和可微分的渲染算法,提供了独特的优势,为下一代3D重建和表示技术带来了潜在的变革。本文首次系统综述了3D高斯喷洒的最新进展和重要贡献,包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估,并指出当前挑战和未来研究的发展方向。
Jan, 2024
3D高斯散射(3D-GS)是计算机图形学领域的重要进展,提供了明确的场景表示和新颖的视图合成技术,而无需依赖神经网络(如神经辐射场(NeRF))。本文对3D高斯散射的相关论文进行了全面调研,将调查结果按照特征和应用进行分类,介绍了3D高斯散射的理论基础。旨在使新研究人员了解3D高斯散射,提供领域中的重要参考文献,并启发未来的研究方向,如本文的结论部分所讨论的。
Feb, 2024
通过将三维体积转化为一组二维定向平面高斯盘,使用透视准确的二维喷洒过程,结合深度扭曲和法线一致性项,实现从多视角图像中准确重建细表面并提高重建质量的一种方法。
Mar, 2024
Mirror-3DGS is an innovative rendering framework that addresses the challenge of accurately modeling mirror reflections within the 3DGS approach, resulting in enhanced fidelity and real-time rendering of novel views specifically within mirror regions.
Apr, 2024
基于神经和高斯辐射场方法,在小说视角合成领域取得了巨大的成功。然而,镜面反射仍然非常复杂,因为高频辐射场非常难以稳定准确地拟合。我们提出了一种延迟着色方法来有效地渲染具有高斯分片的镜面反射。主要挑战来自环境映射反射模型,该模型要求精确的表面法线,同时在不连续梯度处瓶颈法线估计。我们利用延迟着色生成的每像素反射梯度来桥接邻域高斯优化过程,使几乎准确的法线估计逐渐传播并最终传播到所有反射物体。我们的方法在合成和真实场景中,显著优于最先进的技术和同时进行的工作,表现出峰值信噪比(PSNR)的一致提高,同时运行速度几乎与原始高斯分片相同。
Apr, 2024
借助3D高斯透射,利用镜像对称性,MirrorGaussian提出了第一种基于3D高斯透射的实时渲染镜像场景重建方法,通过可微分光栅化策略优化3D高斯透射及其映射到镜像平面的过程,实现了高质量和实时渲染,对于带有镜子的场景达到了最先进的效果。
May, 2024
通过提出的RefGaussian方法,可以从3D-GS中解离出反射,以更真实地建模反射。实验证明,我们的方法在新视角合成和准确深度估计方面取得了优越的结果,同时支持场景编辑应用,确保高质量的结果和物理一致性。
Jun, 2024
通过引入基于平面的高斯点云猜测(PGSR)方法,本研究旨在实现高保真度的表面重建和高质量的渲染,以解决基于3D高斯斑点(3DGS)的重构方法中普遍存在的质量问题。实验结果表明,与基于3DGS和NeRF的方法相比,我们的方法在快速训练和渲染的同时保持了高保真度的渲染和几何重建效果。
Jun, 2024