无人机辅助的道路高斯点云渲染与跨视角不确定性
DrivingGaussian是一个高效而有效的框架,用于重建自主驾驶场景中的动态环境,通过顺序和渐进地建模静态背景,并利用动态高斯图来处理多个移动物体,在场景中恢复每个物体的准确位置和遮挡关系。使用LiDAR和高斯喷洒方法进行重建,该方法在驾驶场景重建中优于现有的方法,实现了高逼真度和多相机一致性的全景合成。
Dec, 2023
我们引入了一种新颖的大规模场景重建基准测试,通过使用新开发的三维表示方法——高斯插值法在我们广泛的U-Scene数据集中。U-Scene包含了一个半平方千米以上的区域,具有综合RGB数据集和LiDAR地面真实数据。我们使用了Matrix 300无人机配备高精度的Zenmuse L1 LiDAR来获取数据,从而实现了精确的屋顶数据采集。这个数据集提供了一个独特的城市和学术环境的结合,用于高级空间分析,覆盖面积超过了1.5km^2。我们使用高斯插值法对U-Scene进行了评估,并从各种新颖的视角进行了详细分析。我们还将这些结果与我们准确的点云数据集进行对比,突出了多模态信息结合的重要性。
Jan, 2024
设计一种新的紧密耦合的LiDAR-Camera高斯扩散(TCLC-GS)方法,充分利用LiDAR和相机传感器的优势,实现快速高质量的3D重建和新视角RGB/深度合成,通过富含上下文信息的3D网格和隐式特征来丰富3D高斯扩散的属性和优化过程。
Apr, 2024
基于2D高斯点云散离(2DGS)的RoGS方法通过显式地表示道路的几何形状,以及使用基于轨迹的初始化方法,实现了在提升重建质量的同时大幅加速道路表面重建的目标。
May, 2024
基于最近的实时神经渲染技术3D高斯碎片化,我们提出了DC-Gaussian方法,用于从车载行车记录仪视频中生成新的视角。实验证明,我们的方法在新视角合成方面不仅取得了最先进的性能,还能准确重建捕获的场景,并消除遮挡物。
May, 2024
通过自我监督学习的方法,在不使用3D注释的情况下,我们提出了一种自适应街景高斯方法来分解静态和动态元素并取得最佳性能。
May, 2024
使用高斯飞溅技术构建逼真的自动驾驶场景重建,能够模拟并实现多视角一致的模拟,同时解决复杂背景、动态物体和稀疏视图等挑战性场景问题。
Jul, 2024
基于神经渲染的城市场景重建方法通常依赖于从汽车驾驶相机面向前方收集的图像。这些方法能够成功地合成与训练相机轨迹类似的视角,但是指导超出训练相机分布的新视角并不能保证与训练数据的性能相当。本文中,我们通过评估在如向左、向右或向下看等视角上进行重建来解决 Extrapolated View Synthesis (EVS) 问题。为了改善 EVS 的渲染质量,我们通过构建稠密的LiDAR地图来初始化我们的模型,并提出利用先验场景知识,如表面法线估计器和大规模扩散模型。定性和定量对比实验证明了我们在EVS上方法的有效性。据我们所知,我们是首次解决城市场景重建中的EVS问题。链接到我们的项目页面:this https URL
Jul, 2024
本研究解决了现有一般化三维高斯溅射方法在处理大视角变化时的渲染限制,尤其是在自动驾驶情境中,车道切换的图像渲染颇具挑战。本文提出了一种新型的虚拟车道生成模块和扩散损失来改善高质量渲染能力,并优化深度估计,验证结果显示其优于现有方法,具有显著的应用潜力。
Sep, 2024