E2GS: 事件增强的高斯点云投射
通过利用事件相机的高时间分辨率和显式的基于点的表示,Event3DGS 可以在快速自我运动下仅根据事件流重建高保真度的 3D 结构,并通过稀疏感知的采样和渐进训练方法获得更好的重建质量和一致性,同时通过将运动模糊形成过程显式地结合到可微分的光栅化器中,通过有限的一组模糊的 RGB 图像来改善外观。大量实验证明,与现有方法相比,Event3DGS 具有卓越的渲染质量,并且训练时间减少了 95%以上,并且在渲染速度上具有数量级的提升。
Jun, 2024
使用事件相机辅助高斯投射方法 (EvaGaussians) 对模糊图像进行清晰重建,通过优化 3D-GS 参数和恢复相机运动轨迹,产生高保真度的新视图。
May, 2024
通过事件输入,我们提出了首个基于事件的通用三维重构框架 EvGGS,它以前馈方式从事件输入中将场景重构为三维高斯场,并可以泛化到未见过的情况,无需重新训练。
May, 2024
通过使用脉冲相机设计的由 Spike 流重建纹理(TfS)损失函数来提高以神经辐射场(NeRF)和 3D 高斯喷洒(3DGS)为基础的新视角合成,将可获得尖锐的场景表示,同时降低训练成本。
Apr, 2024
我们提出了一种从稀疏训练视角中训练一致的基于 3DGS 的辐射场的方法,通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值,并增强来自未见视角的一致性,实验证明我们的方法在 MipNeRF-360 数据集上以较少的训练和推理成本超过了基本的 3DGS 的 30.5% 和基于 NeRF 的方法的 15.6%。
Nov, 2023
使用变形的多层感知器(MLP)网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征,引入可学习的去噪掩模结合去噪损失以从场景中消除噪点,通过静态约束和运动一致性约束减轻点的运动噪声,实验证明我们的方法在渲染质量和速度上超过了现有方法,同时显著减少了与 3D-GS 相关的内存使用,非常适用于新的视角合成和动态建图等任务。
May, 2024
本文介绍了一种将 NeRF-based 3D-aware GANs 的高渲染质量与 3D Gaussian Splatting 的灵活性和计算优势相结合的新方法。通过训练一个解码器,将隐式的 NeRF 表示映射到显式的 3D Gaussian Splatting 属性,我们可以首次将 3D GANs 的代表性多样性和质量整合到 3D Gaussian Splatting 的生态系统中。此外,我们的方法还允许高分辨率 GAN 反演和实时 GAN 编辑与 3D Gaussian Splatting 场景的结合。
Apr, 2024
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述,提供了一个 3D 高斯喷涂方法的分类,包括 3D 重建、3D 编辑和其他功能应用,以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动 3D 高斯喷涂表示法的未来发展。
Mar, 2024
最近几年,引入了一系列基于神经网络的图像渲染方法。其中,被广泛研究的神经辐射场(NeRF)依靠神经网络来表示三维场景,可以从少量的二维图像中合成逼真的视图。然而,大多数 NeRF 模型在训练和推理时间上都受到限制。相比之下,高斯喷洒(GS)是一种新颖的、领先技术的渲染点的技术,通过高斯分布来近似它们对图像像素的贡献,从而保证快速训练和实时渲染。GS 的一个缺点是缺乏对其条件的明确定义,因为需要对几十万个高斯分量进行条件建模。为了解决这个问题,我们引入了高斯网格喷洒(GaMeS)模型,它是网格和高斯分布的混合形式,在物体表面(网格)上固定所有高斯喷洒。我们方法的独特之处在于,仅根据高斯喷洒在网格上的位置来定义,允许在动画过程中自动调整位置、比例和旋转。因此,我们实现了在实时生成高质量视图方面的高质量渲染。此外,我们证明在没有预定义网格的情况下,可以在学习过程中调整初始网格。
Feb, 2024
基于神经渲染技术,本研究提出了一种使用 3D Half-Gaussian 核的方法,以改进当前 3D Gaussian splatting 方法的性能,在不影响渲染速度的情况下,在多个数据集上获得了最先进的渲染性能。
Jun, 2024