Nov, 2023

GS-IR: 逆渲染的三维高斯散射

PDF
TL;DR我们提出了 GS-IR，一种基于 3D 高斯零碎描绘的新型逆向渲染方法，利用前向映射体积渲染实现逼真的新视角合成和重新照明结果。我们通过对多视图图像进行捕捉，从未知照明条件中估计场景几何、表面材质和环境照明，克服了先前使用隐式神经表示和体积渲染（如 NeRF）的方法在表达能力和计算复杂性上的问题。我们的 GS-IR 通过引入基于深度推导的法线估计的正则化和基于烘焙的遮挡来模拟间接光照，提出了一个高效的优化方案来解决 GS 引入逆向渲染时遇到的问题。灵活且具有表现力的 GS 表示使我们能够实现快速紧凑的几何重建、逼真的新视角合成和有效的基于物理的渲染。通过在各种具有挑战性的场景上进行定性和定量评估，我们证明了我们的方法的优越性。
inverse rendering3d gaussian splattingnovel view synthesisscene geometryphotorealistic rendering
发现论文，激发创造
  • 3D 高斯点云渲染调查

    3D 高斯喷洒是一种能够实时渲染的、可控且可编辑的 3D 重建和表示方法，通过显式场景表示和可微分的渲染算法，提供了独特的优势，为下一代 3D 重建和表示技术带来了潜在的变革。本文首次系统综述了 3D 高斯喷洒的最新进展和重要贡献，包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估，并指出当前挑战和未来研究的发展方向。

    Jan, 2024

  • PGSR: 基于平面的高斯点云着色用于高效和高保真度的表面重建

    通过引入基于平面的高斯点云猜测（PGSR）方法，本研究旨在实现高保真度的表面重建和高质量的渲染，以解决基于 3D 高斯斑点（3DGS）的重构方法中普遍存在的质量问题。实验结果表明，与基于 3DGS 和 NeRF 的方法相比，我们的方法在快速训练和渲染的同时保持了高保真度的渲染和几何重建效果。

    Jun, 2024

  • 3D 高斯点绘制的近期进展

    使用一组高斯椭球来模拟场景，从而实现高效渲染，3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述，提供了一个 3D 高斯喷涂方法的分类，包括 3D 重建、3D 编辑和其他功能应用，以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式，旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述，以推动 3D 高斯喷涂表示法的未来发展。

    Mar, 2024

  • 3D-HGS: 三维半高斯飘带

    基于神经渲染技术，本研究提出了一种使用 3D Half-Gaussian 核的方法，以改进当前 3D Gaussian splatting 方法的性能，在不影响渲染速度的情况下，在多个数据集上获得了最先进的渲染性能。

    Jun, 2024

  • RaDe-GS：高斯投影深度

    高斯飞溅在新视角合成方面已被证明具有很高的效果，但对于重建细节丰富的 3D 形状尚未充分探索。本研究介绍了一种栅格化方法来渲染通用 3D 高斯飞溅的深度图和表面法线图，大大提高了形状重建的准确性，并保持高斯飞溅的计算效率。该方法在 DTU 数据集上达到与 NeuraLangelo 相当的 Chamfer 距离误差，并保持与传统高斯飞溅相似的训练和渲染时间。该方法是高斯飞溅的重要进展，可以直接集成到现有的基于高斯飞溅的方法中。

    Jun, 2024

  • GS-ROR: 通过 SDF 先验的 3D 高斯飞溅实现反射物体照明

    GS-ROR 是一种用于镜面反射物体照明调整的 3D 高斯喷洒方法，通过 SDF 先验的互相监督，提供了优于现有基于高斯的逆渲染方法的照明质量，同时具有最多 25% 的训练时间和每秒超过 200 帧的渲染速度。

    May, 2024

  • SparseGS：使用高斯投影进行实时 360° 稀疏视图合成

    我们提出了一种从稀疏训练视角中训练一致的基于 3DGS 的辐射场的方法，通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值，并增强来自未见视角的一致性，实验证明我们的方法在 MipNeRF-360 数据集上以较少的训练和推理成本超过了基本的 3DGS 的 30.5% 和基于 NeRF 的方法的 15.6%。

    Nov, 2023

  • 3DGSR：基于 3D 高斯扩展通过隐式表面重建

    该研究论文介绍了一种包括隐式曲面重建、三维高斯光照插值以及体积渲染等方法组合的 3D 曲面重建技术，实现了高质量的三维曲面重建并保持了高效率和渲染质量。

    Mar, 2024

  • 面向三维感知生成对抗网络的高斯喷洒解码器

    本文介绍了一种将 NeRF-based 3D-aware GANs 的高渲染质量与 3D Gaussian Splatting 的灵活性和计算优势相结合的新方法。通过训练一个解码器，将隐式的 NeRF 表示映射到显式的 3D Gaussian Splatting 属性，我们可以首次将 3D GANs 的代表性多样性和质量整合到 3D Gaussian Splatting 的生态系统中。此外，我们的方法还允许高分辨率 GAN 反演和实时 GAN 编辑与 3D Gaussian Splatting 场景的结合。

    Apr, 2024

  • 二维高斯粒子扩散用于几何精确辐射场

    通过将三维体积转化为一组二维定向平面高斯盘，使用透视准确的二维喷洒过程，结合深度扭曲和法线一致性项，实现从多视角图像中准确重建细表面并提高重建质量的一种方法。

    Mar, 2024