Apr, 2024

3D 高斯点刷及延迟反射

PDF
TL;DR基于神经和高斯辐射场方法，在小说视角合成领域取得了巨大的成功。然而，镜面反射仍然非常复杂，因为高频辐射场非常难以稳定准确地拟合。我们提出了一种延迟着色方法来有效地渲染具有高斯分片的镜面反射。主要挑战来自环境映射反射模型，该模型要求精确的表面法线，同时在不连续梯度处瓶颈法线估计。我们利用延迟着色生成的每像素反射梯度来桥接邻域高斯优化过程，使几乎准确的法线估计逐渐传播并最终传播到所有反射物体。我们的方法在合成和真实场景中，显著优于最先进的技术和同时进行的工作，表现出峰值信噪比（PSNR）的一致提高，同时运行速度几乎与原始高斯分片相同。
neural and gaussian-based radiance field methodsnovel view synthesisspecular reflectiondeferred shading methodenvironment map reflection model
发现论文，激发创造
  • 高斯着色器：具有阴影函数的反射面的 3D 高斯喷洒

    本文介绍了一种名为 GaussianShader 的新方法，通过在三维高斯函数上应用简化的着色函数，提升了在具有反射表面的场景中的神经渲染效果，并保持了训练和渲染的效率。通过基于三维高斯函数的最短轴方向设计了一种新颖的法线估计框架，并使用精心设计的损失函数使法线与高斯球的几何形状一致。实验证明，GaussianShader 在效率和视觉质量之间取得了可观的平衡，相较于处理反射表面的先前方法，如 Ref-NeRF，我们的方法显著加速了优化时间（23 小时对比 0.58 小时），在具有镜面对象数据集上的峰值信噪比方面也超过了 Gaussian Splatting，实现了 1.57dB 的提升。请点击访问我们的项目网站以查看更多结果。

    Nov, 2023

  • DeferredGS：具有延迟渲染和可编辑高斯喷点的解耦设计

    通过 DeferredGS 方法，采用延迟着色技术，模拟环境光照并定义额外的属性对高斯粒子进行解耦和编辑，从而实现更逼真的重新光照效果，并在新视角合成和编辑任务方面表现出卓越性能。

    Apr, 2024

  • RefGaussian: 解开真实渲染中的三维高斯点云分层中的反射

    通过提出的 RefGaussian 方法，可以从 3D-GS 中解离出反射，以更真实地建模反射。实验证明，我们的方法在新视角合成和准确深度估计方面取得了优越的结果，同时支持场景编辑应用，确保高质量的结果和物理一致性。

    Jun, 2024

  • 实时辐射场渲染的三维高斯喷洒

    我们提出了三个关键要素，可实现高质量的实时（大于等于 30 帧 / 秒）1080p 分辨率的新视图合成，其中包括使用 3D 高斯函数表示场景、优化 3D 高斯函数的相关参数以准确表示场景，并开发了一种快速的可见性感知渲染算法，以加速训练并实现实时渲染。

    Aug, 2023

  • 3D 高斯点绘制的近期进展

    使用一组高斯椭球来模拟场景，从而实现高效渲染，3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述，提供了一个 3D 高斯喷涂方法的分类，包括 3D 重建、3D 编辑和其他功能应用，以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式，旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述，以推动 3D 高斯喷涂表示法的未来发展。

    Mar, 2024

  • 去模糊的三维高斯渲染

    我们提出了一种新颖的实时去模糊框架，利用小型多层感知机（MLP）操纵每个 3D 高斯的协方差来建模场景的模糊程度，从模糊的图像中重构出细节清晰的图像，实现实时渲染。

    Jan, 2024

  • GS-ROR: 通过 SDF 先验的 3D 高斯飞溅实现反射物体照明

    GS-ROR 是一种用于镜面反射物体照明调整的 3D 高斯喷洒方法，通过 SDF 先验的互相监督，提供了优于现有基于高斯的逆渲染方法的照明质量，同时具有最多 25% 的训练时间和每秒超过 200 帧的渲染速度。

    May, 2024

  • 镜面 - 3D 高斯飞溅中并入镜面反射

    Mirror-3DGS is an innovative rendering framework that addresses the challenge of accurately modeling mirror reflections within the 3DGS approach, resulting in enhanced fidelity and real-time rendering of novel views specifically within mirror regions.

    Apr, 2024

  • 3D 高斯点云渲染调查

    3D 高斯喷洒是一种能够实时渲染的、可控且可编辑的 3D 重建和表示方法，通过显式场景表示和可微分的渲染算法，提供了独特的优势，为下一代 3D 重建和表示技术带来了潜在的变革。本文首次系统综述了 3D 高斯喷洒的最新进展和重要贡献，包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估，并指出当前挑战和未来研究的发展方向。

    Jan, 2024

  • MirrorGaussian：反射 3D 高斯函数用于重建镜面反射

    借助 3D 高斯透射，利用镜像对称性，MirrorGaussian 提出了第一种基于 3D 高斯透射的实时渲染镜像场景重建方法，通过可微分光栅化策略优化 3D 高斯透射及其映射到镜像平面的过程，实现了高质量和实时渲染，对于带有镜子的场景达到了最先进的效果。

    May, 2024