Jun, 2024

GaussianCity：基于高斯点绘制的无界三维城市生成

PDF
TL;DR高效合成无边界 3D 城市的 GaussianCity 系统，采用 3D 城市生成的 NeRF 和 3D-Gauusian Splatting 方法，通过引入 BEV-Point 作为紧凑的中间表示和空间感知的 BEV-Point 解码器，实现了优于 CityDreamer 的最先进的无人机视角和街景视角下的 3D 城市生成性能提升 60 倍（10.72 FPS 对 0.18 FPS）。
3d city generationnerf-based methods3d-gaussian splattingunbounded 3d citiesgaussiancity
发现论文，激发创造
  • CityGaussian: 高质量大规模场景实时渲染

    CityGaussian employs a divide-and-conquer training approach and Level-of-Detail strategy for efficient large-scale 3D Gaussian Splatting training and rendering, achieving state-of-the-art rendering quality in real-time across various scales.

    Apr, 2024

  • HO-Gaussian: 三维高斯插值用于城市场景的混合优化

    通过将网格体积与 3D 高斯喷洒（3DGS）管道结合，提出了一种名为 HO-Gaussian 的混合优化方法，以克服使用初始结构运动（SfM）点的依赖性，从而使得在城市场景中进行渲染成为可能，并且引入了点密度化来提高在训练期间出现问题的区域的渲染质量。此外，我们引入了高斯方向编码作为渲染管道中球面调和的替代方法，从而实现了视角相关的颜色表示。为了解决多相机系统的问题，引入了神经翘曲以增强不同相机之间的物体一致性。在广泛使用的自动驾驶数据集上的实验结果表明，HO-Gaussian 在多相机城市数据集上实现了实时照片级渲染。

    Mar, 2024

  • HUGS: 通过高斯分布点绘制进行城市环境全面三维场景理解

    基于 RGB 图像的城市场景的整体理解是一个具有挑战性但重要的问题，本文提出了一种利用三维高斯点云分布的新型管道，通过联合优化几何、外观、语义和动作，实现对城市场景的整体理解，并在实验证明了我们方法的有效性。

    Mar, 2024

  • WE-GS: 无约束照片集的野外高效 3D 高斯表示

    基于 3D 高斯扩散的新视角合成方法在各种场景下表现出了良好的性能，本文提出了一种高效的基于点的可微渲染框架，用于从照片集合中重建场景，通过引入基于残差的球谐系数传输模块，将 3D 高斯扩散方法适应于不同的光照条件和光度后处理，同时引入了一个轻量级的空间注意力模块，可同时预测暂时遮挡物和隐含外观表示，实验结果表明，该方法在新视角和外观合成的渲染质量上优于现有方法，并拥有较高的收敛速度和渲染速度。

    Jun, 2024

  • 野外高斯：无约束图像集合的三维高斯插值

    使用高斯点的方法 (GS-W) 重建场景，为每个点引入独立的内在和动态外观特征，捕捉不变的场景外貌和动态变化，通过自适应采样策略以及 2D 可见性图减少瞬态遮挡器的影响。与之前的方法相比，GS-W 在渲染速度上提高了 1000 倍，并展示了更好的重建质量和细节。

    Mar, 2024

  • LightGaussian: 无界的三维高斯压缩，15 倍减少和 200 + 帧每秒

    LightGaussian is a novel method for efficient 3D representation that reduces redundancy, distills spherical harmonics, and employs a hybrid quantization scheme, achieving high compression rates and improved FPS in complex scenes.

    Nov, 2023

  • DreamGaussian：高效三维内容生成的生成高斯点图方法

    最近在 3D 内容创建方面的最新进展主要利用基于优化的 3D 生成通过得分蒸馏抽样（SDS）。尽管取得了有希望的结果，但这些方法往往受到每个样本优化速度慢的限制，限制了它们的实际应用。本文提出了 DreamGaussian，一个同时实现效率和质量的创新性 3D 内容生成框架。我们的关键见解是在 UV 空间中设计了一个具有伴随网格提取和纹理细化功能的生成性 3D 高斯飞溅模型。与神经辐射场中使用的占位修剪不同，我们证明了 3D 高斯曲线的渐进致密化对于 3D 生成任务的收敛速度更快。为了进一步提高纹理质量并促进下游应用，我们引入了一种将 3D 高斯曲线转换为纹理网格的高效算法，并应用了一个微调阶段来细化细节。大量实验证明了我们提出方法的卓越效率和竞争的生成质量。值得注意的是，DreamGaussian 从单视图图像中仅用 2 分钟即可生成高质量的纹理网格，与现有方法相比加速了大约 10 倍。

    Sep, 2023

  • VastGaussian：大场景重建的巨大 3D 高斯

    VastGaussian 是基于 3D 高斯平面分割的大型场景重建和实时渲染的首个方法，通过渐进的分割策略和外观建模的优化过程，在多个大型场景数据集上实现了超出现有 NeRF 方法的最新成果，实现了快速优化和高保真实时渲染。

    Feb, 2024

  • 优化的三维高斯表示用于高质量动态场景重建

    使用变形的多层感知器（MLP）网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征，引入可学习的去噪掩模结合去噪损失以从场景中消除噪点，通过静态约束和运动一致性约束减轻点的运动噪声，实验证明我们的方法在渲染质量和速度上超过了现有方法，同时显著减少了与 3D-GS 相关的内存使用，非常适用于新的视角合成和动态建图等任务。

    May, 2024

  • 利用 Google Earth 图像和高斯喷雾状提取的逼真三维城市场景重构和点云提取

    使用 Google Earth 图像构建了基于 3D 高斯光斑模型的滑铲三维重建模型，利用视图合成模型实现了比基于神经辐射场更好的三维视图合成结果，并通过多视图稠密重建对场景的三维几何和照明进行了重建。

    May, 2024