Apr, 2024

鲁棒的高斯点云糊化

PDF
TL;DR本文主要研究了 3D 高斯喷洒（3DGS）中的常见误差源，包括模糊、不完美的相机姿态以及颜色不一致性，旨在改善其在像手持手机拍摄的实际应用中的鲁棒性。通过将运动模糊建模为相机姿态上的高斯分布，我们可以统一处理相机姿态的精炼和运动模糊矫正，并提出了解决散焦模糊补偿和解决由环境光、阴影或相机相关因素引起的颜色不一致性的机制。我们的解决方案与 3DGS 的配方无缝集成，同时保持其在训练效率和渲染速度方面的优势。通过在 Scannet++ 和 Deblur-NeRF 等相关基准数据集上进行实验证实，我们的贡献取得了最先进的结果，相对于相关基准线实现了一致的性能改进。
发现论文，激发创造
  • DeblurGS：相机运动模糊的高斯喷洒

    通过使用 3D 高斯喷洒来优化运动模糊图像中的清晰 3D 场景，我们的方法 DeblurGS 克服了初始相机姿态获取中的不准确性并实现了最先进的去模糊和新视角合成性能。

    Apr, 2024

  • 高斯喷洒移动：针对自然相机运动的模糊和快门滚动补偿

    基于高斯子图的高质量场景重建和新视图合成通常需要稳定、高质量的照片，这往往难以通过手持相机捕捉。本文提出了一种适应相机运动、能够利用受运动模糊和滚动快门衍生的手持视频数据实现高质量场景重建的方法。我们的方法基于对物理图像形成过程的详细建模，利用视觉惯性航位推测 (VIO) 所估计的速度。在单张图像帧的曝光时间内考虑相机姿态的非静态性，并在重建过程中进一步优化相机姿态。我们建立了一个可微的渲染流水线，利用屏幕空间近似有效地将滚动快门和运动模糊效应纳入 3DGS 框架。我们通过合成和真实数据的结果表明，在减轻相机运动方面，我们的方法相较于现有方法具有出色的性能，从而推动了 3DGS 在逼真场景中的应用。

    Mar, 2024

  • 运动感知的高斯点云成型在高效动态场景重建中的应用

    提出了一种新的运动感知增强框架，通过挖掘光流中的有用运动线索来改进动态场景重建，以提高不同动态 3D 高斯喷溅方式的性能，并针对基于形变的范例提出了一种瞬态感知形变辅助模块。经过广泛的实验证明，与基线相比，我们的方法在渲染质量和效率方面都表现出明显的优势。

    Mar, 2024

  • GS-SLAM：带有 3D 高斯点图的密集视觉 SLAM

    本文介绍了一种名为 GS-SLAM 的算法，它在同时定位与地图构建（SLAM）系统中首次使用了 3D 高斯表示方法，实现了效率和准确性之间的更好平衡。与使用神经隐式表示的最新 SLAM 方法相比，我们的方法采用了实时可微分雀斑光照渲染流水线，大大加速了地图优化和 RGB-D 重渲染。具体而言，我们提出了一种自适应扩张策略，通过添加新的或删除噪音 3D 高斯来有效重构新观测到的场景几何并改善先前观测区域的建图。这种策略对于将 3D 高斯表示扩展到重建整个场景而不是在现有方法中合成静态物体至关重要。此外，在位姿跟踪过程中，设计了一种有效的从粗到细的技术，以选择可靠的 3D 高斯表示来优化相机姿态，从而减少运行时间并实现强健的估计。我们的方法在 Replica 和 TUM-RGBD 数据集上与现有的最新实时方法具有竞争力的性能。源代码将在获批后发布。

    Nov, 2023

  • 3D 高斯点云渲染调查

    3D 高斯喷洒是一种能够实时渲染的、可控且可编辑的 3D 重建和表示方法，通过显式场景表示和可微分的渲染算法，提供了独特的优势，为下一代 3D 重建和表示技术带来了潜在的变革。本文首次系统综述了 3D 高斯喷洒的最新进展和重要贡献，包括其背后的原理、应用可行性以及各类基准任务下的性能和实用性评估，并指出当前挑战和未来研究的发展方向。

    Jan, 2024

  • SpotlessSplats: 忽略 3D 高斯点状绘制中的干扰因素

    SpotlessSplats 是一种利用预先训练的通用特征和鲁棒优化相结合的方法，有效地忽略短暂的干扰因素，实现了在实时应用中视觉和定量上的最新重建质量。

    Jun, 2024

  • 去模糊的三维高斯渲染

    我们提出了一种新颖的实时去模糊框架，利用小型多层感知机（MLP）操纵每个 3D 高斯的协方差来建模场景的模糊程度，从模糊的图像中重构出细节清晰的图像，实现实时渲染。

    Jan, 2024

  • 3D 高斯点绘制的近期进展

    使用一组高斯椭球来模拟场景，从而实现高效渲染，3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述，提供了一个 3D 高斯喷涂方法的分类，包括 3D 重建、3D 编辑和其他功能应用，以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式，旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述，以推动 3D 高斯喷涂表示法的未来发展。

    Mar, 2024

  • 3D-HGS: 三维半高斯飘带

    基于神经渲染技术，本研究提出了一种使用 3D Half-Gaussian 核的方法，以改进当前 3D Gaussian splatting 方法的性能，在不影响渲染速度的情况下，在多个数据集上获得了最先进的渲染性能。

    Jun, 2024

  • 新视觉时代中的 3D 高斯：综述

    3D 高斯散射（3D-GS）是计算机图形学领域的重要进展，提供了明确的场景表示和新颖的视图合成技术，而无需依赖神经网络（如神经辐射场（NeRF））。本文对 3D 高斯散射的相关论文进行了全面调研，将调查结果按照特征和应用进行分类，介绍了 3D 高斯散射的理论基础。旨在使新研究人员了解 3D 高斯散射，提供领域中的重要参考文献，并启发未来的研究方向，如本文的结论部分所讨论的。

    Feb, 2024