MMMay, 2024

HoloGS：基于深度的 Microsoft HoloLens 2 的 3D 高斯喷洒

PDF
TL;DR利用 Microsoft HoloLens 2 的功能，通过实时访问所需的输入数据（图像、相机姿态和深度感知）来绕过结构运动等预处理步骤，提出了 HoloGS，一种利用 HoloLens 传感器数据的新型工作流程，以实现即时的 3D 高斯飞溅。经过全面调查和评估，结果表明 HoloLens 数据适合作为 3D 高斯飞溅的输入。
neural 3d scene reconstruction3d gaussian splattingmicrosoft hololens 2instant 3d gaussian splattinghologs
发现论文，激发创造
  • 3D-HGS: 三维半高斯飘带

    基于神经渲染技术，本研究提出了一种使用 3D Half-Gaussian 核的方法，以改进当前 3D Gaussian splatting 方法的性能，在不影响渲染速度的情况下，在多个数据集上获得了最先进的渲染性能。

    Jun, 2024

  • HUGS: 通过高斯分布点绘制进行城市环境全面三维场景理解

    基于 RGB 图像的城市场景的整体理解是一个具有挑战性但重要的问题，本文提出了一种利用三维高斯点云分布的新型管道，通过联合优化几何、外观、语义和动作，实现对城市场景的整体理解，并在实验证明了我们方法的有效性。

    Mar, 2024

  • 3D 高斯点绘制的近期进展

    使用一组高斯椭球来模拟场景，从而实现高效渲染，3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述，提供了一个 3D 高斯喷涂方法的分类，包括 3D 重建、3D 编辑和其他功能应用，以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式，旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述，以推动 3D 高斯喷涂表示法的未来发展。

    Mar, 2024

  • 3DGS-ReLoc: 三维高斯点云绘制用于地图表示和视觉重定位

    通过使用 3D 高斯平铺方法，结合 LiDAR 和相机数据，本研究提出了一种新颖的系统用于 3D 制图和视觉重定位，能够创造环境的准确且逼真的表示。通过利用 LiDAR 数据来初始化 3D 高斯平铺地图的训练，本系统构建了既详细又几何精确的地图。通过组合 2D 体素地图和 KD 树，以减少 GPU 内存使用和实现快速空间查询，从而使我们的方法适用于视觉定位任务，并能够通过归一化交叉相关 (NCC) 在高斯平铺地图和查询图像之间高效地识别对应关系。此外，通过基于特征匹配和透视点（PnP）技术来细化查询图像的相机姿势。通过对 KITTI360 数据集的广泛评估，证明了我们系统的有效性、适应性和精确性。

    Mar, 2024

  • HO-Gaussian: 三维高斯插值用于城市场景的混合优化

    通过将网格体积与 3D 高斯喷洒（3DGS）管道结合，提出了一种名为 HO-Gaussian 的混合优化方法，以克服使用初始结构运动（SfM）点的依赖性，从而使得在城市场景中进行渲染成为可能，并且引入了点密度化来提高在训练期间出现问题的区域的渲染质量。此外，我们引入了高斯方向编码作为渲染管道中球面调和的替代方法，从而实现了视角相关的颜色表示。为了解决多相机系统的问题，引入了神经翘曲以增强不同相机之间的物体一致性。在广泛使用的自动驾驶数据集上的实验结果表明，HO-Gaussian 在多相机城市数据集上实现了实时照片级渲染。

    Mar, 2024

  • GS-SLAM：带有 3D 高斯点图的密集视觉 SLAM

    本文介绍了一种名为 GS-SLAM 的算法，它在同时定位与地图构建（SLAM）系统中首次使用了 3D 高斯表示方法，实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比，我们的方法采用了实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。具体而言，我们提出了一种自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外，在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。

    Nov, 2023

  • RaDe-GS：高斯投影深度

    高斯飞溅在新视角合成方面已被证明具有很高的效果，但对于重建细节丰富的 3D 形状尚未充分探索。本研究介绍了一种栅格化方法来渲染通用 3D 高斯飞溅的深度图和表面法线图，大大提高了形状重建的准确性，并保持高斯飞溅的计算效率。该方法在 DTU 数据集上达到与 NeuraLangelo 相当的 Chamfer 距离误差，并保持与传统高斯飞溅相似的训练和渲染时间。该方法是高斯飞溅的重要进展，可以直接集成到现有的基于高斯飞溅的方法中。

    Jun, 2024

  • 新视觉时代中的 3D 高斯：综述

    3D 高斯散射（3D-GS）是计算机图形学领域的重要进展，提供了明确的场景表示和新颖的视图合成技术，而无需依赖神经网络（如神经辐射场（NeRF））。本文对 3D 高斯散射的相关论文进行了全面调研，将调查结果按照特征和应用进行分类，介绍了 3D 高斯散射的理论基础。旨在使新研究人员了解 3D 高斯散射，提供领域中的重要参考文献，并启发未来的研究方向，如本文的结论部分所讨论的。

    Feb, 2024

  • 3D 高斯点云渲染调查

    3D 高斯喷洒是一种能够实时渲染的、可控且可编辑的 3D 重建和表示方法，通过显式场景表示和可微分的渲染算法，提供了独特的优势，为下一代 3D 重建和表示技术带来了潜在的变革。本文首次系统综述了 3D 高斯喷洒的最新进展和重要贡献，包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估，并指出当前挑战和未来研究的发展方向。

    Jan, 2024

  • Z-Splat：用于相机声纳融合的 Z 轴高斯喷溅

    通过使用转换数据，我们扩展了高斯喷涂算法以解决‘缺失锥体’问题，并提出了能够同时利用 RGB 相机数据和声纳数据的融合算法。通过模拟、仿真和硬件实验，我们展示了所提出的融合算法在新视图合成和 3D 几何重建方面取得了显著的改善（PSNR 提高 5dB，Chamfer 距离降低 60%）。

    Apr, 2024