Jul, 2024

VEGS: 基于学习先验的三维高斯采样法用于城市场景视图外推

HTML
PDF
TL;DR基于神经渲染的城市场景重建方法通常依赖于从汽车驾驶相机面向前方收集的图像。这些方法能够成功地合成与训练相机轨迹类似的视角，但是指导超出训练相机分布的新视角并不能保证与训练数据的性能相当。本文中，我们通过评估在如向左、向右或向下看等视角上进行重建来解决 Extrapolated View Synthesis (EVS) 问题。为了改善 EVS 的渲染质量，我们通过构建稠密的LiDAR地图来初始化我们的模型，并提出利用先验场景知识，如表面法线估计器和大规模扩散模型。定性和定量对比实验证明了我们在EVS上方法的有效性。据我们所知，我们是首次解决城市场景重建中的EVS问题。链接到我们的项目页面：this https URL
发现论文，激发创造
  • 极端视角合成

    本文提出了一种名为Extreme View Synthesis的新方法，解决了新视角外推中存在数量有限的输入图像时的问题，并通过深度概率体积、基于深度的配准和图像先验等方法，成功地在镜头基线放大至30倍的情况下实现了视觉效果优化。

    Dec, 2018

  • FSGS: 实时少样本视图合成与高斯投影插值

    提出了基于3D高斯喷砂的少样本视角合成方法，通过高效地合成视图实现实时和照片般逼真的视角合成，方法称为FSGS，通过设计精巧的高斯解卷积处理稀疏初始化的SfM点，通过分布新的高斯函数填补空白区域中的局部细节，在高斯优化过程中整合大规模预训练的单眼深度估计器，通过在线增强视图引导几何优化达到最优解，FSGS在包括LLFF、Mip-NeRF360和Blender在内的各种数据集上实现了最先进的性能，包括准确性和渲染效率。

    Dec, 2023

  • GauU-Scene: 使用高斯喷洒技术的大规模三维重构数据集上的场景重建基准测试

    我们引入了一种新颖的大规模场景重建基准测试，通过使用新开发的三维表示方法——高斯插值法在我们广泛的U-Scene数据集中。U-Scene包含了一个半平方千米以上的区域，具有综合RGB数据集和LiDAR地面真实数据。我们使用了Matrix 300无人机配备高精度的Zenmuse L1 LiDAR来获取数据，从而实现了精确的屋顶数据采集。这个数据集提供了一个独特的城市和学术环境的结合，用于高级空间分析，覆盖面积超过了1.5km^2。我们使用高斯插值法对U-Scene进行了评估，并从各种新颖的视角进行了详细分析。我们还将这些结果与我们准确的点云数据集进行对比，突出了多模态信息结合的重要性。

    Jan, 2024

  • HUGS: 通过高斯分布点绘制进行城市环境全面三维场景理解

    基于RGB图像的城市场景的整体理解是一个具有挑战性但重要的问题，本文提出了一种利用三维高斯点云分布的新型管道，通过联合优化几何、外观、语义和动作，实现对城市场景的整体理解，并在实验证明了我们方法的有效性。

    Mar, 2024

  • SGD：基于高斯点描和扩散先验的街景合成

    用新颖的方法结合扩散模型和多模态数据以提高三维高斯飞溅对未见视角的渲染效果，有效增强了自动驾驶模拟中街景的新视角合成技术。

    Mar, 2024

  • HGS-Mapping: 基于混合高斯表示的城市场景在线稠密地图构建

    提出了一种在无界大规模场景中的在线密集建图框架HGS-Mapping，它引入了混合高斯表示方法，使用具有不同属性的高斯模型来对整个场景的不同部分建模，并采用混合高斯初始化机制和自适应更新方法实现高保真和快速重建，在线密集建图的同时实现了SOTA的重建精度，仅使用了66%的高斯模型数量，从而加快了20%的重建速度。

    Mar, 2024

  • CityGaussian: 高质量大规模场景实时渲染

    CityGaussian employs a divide-and-conquer training approach and Level-of-Detail strategy for efficient large-scale 3D Gaussian Splatting training and rendering, achieving state-of-the-art rendering quality in real-time across various scales.

    Apr, 2024

  • TCLC-GS: 紧密耦合的激光雷达-相机高斯投影在自动驾驶环境中的应用

    设计一种新的紧密耦合的LiDAR-Camera高斯扩散(TCLC-GS)方法，充分利用LiDAR和相机传感器的优势，实现快速高质量的3D重建和新视角RGB/深度合成，通过富含上下文信息的3D网格和隐式特征来丰富3D高斯扩散的属性和优化过程。

    Apr, 2024

  • 层次生成细胞自动机在室外场景外推中的应用

    我们通过使用层级生成元胞自动机 (hGCA) 模型，从大规模稀疏的自动驾驶车辆 (AV) 捕捉到的LiDAR扫描数据中生成精细的三维几何结构，为模拟真实、高分辨率的街景环境迈出了一步。

    Jun, 2024

  • 无人机辅助的道路高斯点云渲染与跨视角不确定性

    本研究解决了在自主驾驶模拟中大规模道路场景渲染的真实感和健壮性不足的问题。通过引入跨视角的不确定性，设计了一种新的训练方法，使得航空图像能够有效辅助地面图像较差的合成区域，显著提升道路视图的合成效果。研究成果为增强无人驾驶模拟的视觉质量提供了一种新思路，具有重要的应用价值。

    Aug, 2024