三维几何感知的可变形高斯光斑在动态视图合成中的应用
使用可变形 3D 高斯方法进行动态场景重建,将高斯飞溅效果扩展以适应通过多层感知器定义的时间相关变形场的可变形高斯集合的表示,同时使用静态高斯点云允许多层感知器集中其表示能力,最终优化得到与状态最前沿的动态神经辐射场方法相媲美且具有更快的优化和渲染速度。
Dec, 2023
使用变形的多层感知器(MLP)网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征,引入可学习的去噪掩模结合去噪损失以从场景中消除噪点,通过静态约束和运动一致性约束减轻点的运动噪声,实验证明我们的方法在渲染质量和速度上超过了现有方法,同时显著减少了与 3D-GS 相关的内存使用,非常适用于新的视角合成和动态建图等任务。
May, 2024
4D 高斯喷洒是一种在动态场景下表示动态场景的新方法,通过时间切片和投影技术实现了对复杂运动和细节的建模,并在实时渲染方面取得了显著的效果和效率优势。
Feb, 2024
3D 高斯点精细喷洒(3DGS)将用于快速高质量的新视角合成,可自然延伸至多帧变形。通过将变形定义为基于每个高斯点嵌入和时间嵌入的函数,并将变形分解为粗变形和细变形以模拟缓慢和快速运动,作者解决了通过协调基于坐标的框架的错误设计所导致的准确重建动态场景的问题,并提出了一种高效训练策略以实现更快收敛和更高质量。
Apr, 2024
本文研究了神经渲染、相机位姿、Neural Radiance Fields、3D Gaussian Splatting 以及新视角合成等主题,通过使用显式几何表示和输入视频流的连续性,实现了无需任何 SfM 预处理的新视角合成。该方法在大运动变化下显著改善了先前方法在视角合成和相机姿态估计方面的性能。
Dec, 2023
通过将不同可分辨外观模型与显式几何表示相结合,我们提出了一种可学习的场景模型,用于准确重构包含显式几何信息的三维场景,实验结果表明,该模型不仅在渲染质量方面达到了最新水平,而且还支持使用显式网格进行操作,并且具有适应场景更新的独特优势。
May, 2024
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述,提供了一个 3D 高斯喷涂方法的分类,包括 3D 重建、3D 编辑和其他功能应用,以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动 3D 高斯喷涂表示法的未来发展。
Mar, 2024
本文介绍了一种将 NeRF-based 3D-aware GANs 的高渲染质量与 3D Gaussian Splatting 的灵活性和计算优势相结合的新方法。通过训练一个解码器,将隐式的 NeRF 表示映射到显式的 3D Gaussian Splatting 属性,我们可以首次将 3D GANs 的代表性多样性和质量整合到 3D Gaussian Splatting 的生态系统中。此外,我们的方法还允许高分辨率 GAN 反演和实时 GAN 编辑与 3D Gaussian Splatting 场景的结合。
Apr, 2024