SpikeGS:高速相机运动中的来自Spike流的3D高斯重叠
我们提出了一种从稀疏训练视角中训练一致的基于3DGS的辐射场的方法,通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值,并增强来自未见视角的一致性,实验证明我们的方法在MipNeRF-360数据集上以较少的训练和推理成本超过了基本的3DGS的30.5%和基于NeRF的方法的15.6%。
Nov, 2023
4D高斯喷洒是一种在动态场景下表示动态场景的新方法,通过时间切片和投影技术实现了对复杂运动和细节的建模,并在实时渲染方面取得了显著的效果和效率优势。
Feb, 2024
3DGStream是一种用于实时流式传输现实世界动态场景的方法,通过使用3D高斯(3DGs)表示场景,并利用紧凑的神经转换缓存(NTC)来建模3DGs的平移和旋转,从而实现了每帧12秒内的快速即时重建和200 FPS的实时渲染,同时提出了自适应3DG添加策略来处理动态场景中出现的新物体。实验证明,与最先进的方法相比,3DGStream在渲染速度、图像质量、训练时间和模型存储方面表现出了竞争力。
Mar, 2024
使用尖峰相机数据,利用SpikeNeRF从尖峰相机数据中得出了基于NeRF的体积场景表示,既能在真实世界中去除错误测量,又能揭示出在各种真实世界的照明情况下一贯的结构,从而在某些场景中展现出比其他视觉传感器更大的优势。
Mar, 2024
使用高时间分辨率的脉冲相机,我们提出了Spike-NeRF,一种基于脉冲数据的神经辐射场,用于高速场景的三维重建和新视点合成。通过设计特殊的脉冲掩蔽和损失函数,我们从高频但不稳定的脉冲数据中重建了准确且稳定的三维场景,并通过合成实验验证了其优于现有方法和基线模型在高速场景中的视觉效果。
Mar, 2024
通过使用脉冲相机设计的由Spike流重建纹理(TfS)损失函数来提高以神经辐射场(NeRF)和3D高斯喷洒(3DGS)为基础的新视角合成,将可获得尖锐的场景表示,同时降低训练成本。
Apr, 2024
通过矩阵和张量分解技术,我们提出了一种新方法,即因式化三维高斯粒子点描(F-3DGS),通过高效的因式化,大大减少了存储需求,同时保持了渲染图像的质量。
May, 2024
通过利用事件相机的高时间分辨率和显式的基于点的表示,Event3DGS可以在快速自我运动下仅根据事件流重建高保真度的3D结构,并通过稀疏感知的采样和渐进训练方法获得更好的重建质量和一致性,同时通过将运动模糊形成过程显式地结合到可微分的光栅化器中,通过有限的一组模糊的RGB图像来改善外观。大量实验证明,与现有方法相比,Event3DGS具有卓越的渲染质量,并且训练时间减少了95%以上,并且在渲染速度上具有数量级的提升。
Jun, 2024
本研究探索了在大规模高分辨率数据集上训练高参数3D高斯喷溅(3DGS)模型的可能性,并设计了一种称为RetinaGS的通用模型并行训练方法,通过使用适当的渲染方程式可适用于任何场景和任意高斯图元分布,能够探索以前难于探索的3DGS的原始数量和训练分辨率的缩放行为以及超越以往最先进的重建质量,观察到使用我们的方法增加原始数量时视觉质量明显提高的积极趋势,同时我们还首次尝试在全矩阵城市数据集上训练了一个超过十亿个图元的3DGS模型,达到了有希望的视觉质量。
Jun, 2024
3D高斯喷洒(3DGS)在3D场景重建方面表现出无与伦比的优越性能,然而,3DGS在很大程度上依赖于清晰的图像。为解决这些挑战,我们提出了Spike高斯喷洒(SpikeGS)框架,首次将尖峰流集成到3DGS流程中,通过快动态的生物启发相机来重建3D场景。通过积累栅格化、间隔监督和特别设计的流程,SpikeGS从高时间分辨率但缺乏纹理的尖峰流中提取详细的几何和纹理,能够在1秒内重构捕获的3D场景。对多个合成和真实世界数据集的大量实验证明了SpikeGS相对于现有基于尖峰流和去模糊的3D场景重建方法的优越性。源代码和数据即将发布。
Jul, 2024