DynSUP:来自非姿态图像对的动态高斯点云
本文研究了神经渲染、相机位姿、Neural Radiance Fields、3D Gaussian Splatting以及新视角合成等主题,通过使用显式几何表示和输入视频流的连续性,实现了无需任何SfM预处理的新视角合成。该方法在大运动变化下显著改善了先前方法在视角合成和相机姿态估计方面的性能。
Dec, 2023
使用3D高斯喷洒法重构动态场景,通过可调整的多层感知器(MLP)模型将场景的动态部分与静态部分分离,引入自适应窗口采样策略和自监督一致性损失来实现场景的时域一致性和高质量的可视化,达到了与竞争性能的动态场景高品质实时渲染。
Dec, 2023
4D高斯喷洒是一种在动态场景下表示动态场景的新方法,通过时间切片和投影技术实现了对复杂运动和细节的建模,并在实时渲染方面取得了显著的效果和效率优势。
Feb, 2024
提出了一种名为Superpoint Gaussian Splatting(SP-GS)的新框架,该框架通过使用显式的3D高斯函数来重构场景,并将具有相似属性的高斯函数聚类成超点,从而实现了对动态场景的实时渲染,获得了最新的视觉质量。
Jun, 2024
本研究解决了从多视角图像数字化稀疏3D和4D场景重建时的性能瓶颈,尤其是在动态场景捕获需要大量摄像头的情况下。我们提出了一种优化策略,通过将斑点特征视作隐式神经场的输出,从而有效地正则化这些特征,显著提高了不同场景下的重建质量和一致性。该方法在静态和动态环境中均表现出色,为稀疏重建提供了有效解决方案。
Sep, 2024
本研究针对动态场景重建中的优化难题,提出了一种新颖的可变形3D高斯点云框架MotionGS,通过显式运动先验指导3D高斯的变形。实验表明,MotionGS在定性和定量结果上均优于现有的先进方法,具有显著的优势。
Oct, 2024
本研究针对3D高斯绘制在新视图合成中对准确相机姿态依赖的限制进行了探讨。通过优化外部相机参数以最小化光度残差,提出了一种新的方法,使得在无需准确姿态信息的情况下快速重建3D场景。研究结果表明,该方法在真实场景中具有快速收敛和高精度,显著提升了新视图合成的效率与效果。
Oct, 2024
该研究解决了动态场景中新视图合成的挑战,提出了显式4D高斯点云(Ex4DGS)的方法,通过区分静态和动态高斯并在稀疏时间戳上显式采样动态高斯的位置和旋转,从而减少计算成本。研究结果表明,Ex4DGS在多种场景中实现了最先进的渲染质量,单个2080Ti GPU上可达到62帧每秒的快速渲染。
Oct, 2024
本研究针对3D高斯散点(3DGS)在少量视图训练时容易过拟合的问题,提出了一种自我集成高斯散点(SE-GS)的方法。通过引入不确定性感知扰动策略,动态调整生成模型,使其能够在更广泛的视角变化下生成新视图图像,从而有效提升了少量训练视图下的新视图合成质量。实验结果表明,SE-GS在多个数据集上超越了现有的最先进方法。
Oct, 2024
本研究解决了从休闲视频中提取动态神经场面临的挑战,尤其是在缺乏直接3D信息的情况下。提出的RoDyGS优化管道通过分离动态和静态元件来有效学习场景的运动和几何,同时确保学习到的内容在物理上合理。此外,创建了新的基准测试Kubric-MRig,以提供更丰富的相机和物体运动数据。实验结果表明,该方法在渲染质量上优于先前的无姿态动态神经场。
Dec, 2024