INF: 针对 LiDAR 和相机的隐式神经融合
该论文介绍了一种新的多传感器融合算法:LiDAR 惯性摄像头融合(LIC-Fusion),它可以在线校准所有异步传感器之间的空间和时间,并在 MSCKF 框架内实现稀疏视觉特征观测值和 IMU 读数的多模态传感器融合,实验结果表明,在室内和室外环境下,该算法相对于视觉惯性测量(VIO)和 LiDAR 测量方法具有更高的估计精度和鲁棒性。
Sep, 2019
本文介绍了一种通过将 lidar 特征与摄像头特征融合的方法来提高自动驾驶 3D 检测性能。基于 InverseAug 和 LearnableAlign,提出了一系列被称为 DeepFusion 的通用多模态 3D 检测模型,实现了对 PointPillars、CenterPoint 和 3D-MAN 基线的有效改进,表现出对输入异常和数据偏移的强大鲁棒性和最先进的性能,可公开获取代码
Mar, 2022
该研究论文提出了一种能够通过基于坐标的子网络来构建神经隐式词典 (NID) 并代表内在神经表征的框架,通过优化结果能够更快地重建 2D/3D 图像并解决遮挡问题。
Jul, 2022
本文提出了一种通过 LiDAR 测量单独重建大规模三维语义场景的新方法,使用隐式表示进行建模。通过浅层多层感知机(MLPs)从隐式特征解码出语义信息和有符号距离值,并采用自监督策略和伪监督策略进行隐式特征和 MLPs 参数的联合优化,最后利用 Marching Cubes 算法对场景进行推断阶段的细分和可视化。与当前最先进的 3D 建图方法相比,我们的框架在三个真实数据集,SemanticKITTI,SemanticPOSS 和 nuScenes 上表现出了很高的效果和效率。
Nov, 2023
利用多模态数据结合深度学习模型进行密集三维重建,从而提高自动驾驶中的标注验证、数据扩充、缺失 LiDAR 系统的地面真值注释以及自动标记准确性的应用效果。
Feb, 2024
本文提出了一种名为隐式神经特征融合函数(INF)的 INR(Implicit Neural Representation)型高光谱融合模型,以高频细节辅助输入来解决 MHIF(Multispectral and Hyperspectral Image Fusion)问题并且有效改进了其他 INR 的方法及提高了模型的鲁棒性。
Jul, 2023
无需训练数据、人工设计特征或离线优化的无目标外参校准算法,能够准确、精确且极其鲁棒地融合多个传感器的数据到共同的空间参考框架中,利用几何特征提供了稳健的用于相机 - 激光雷达外参校准的信息度量。
Nov, 2023
所提出的算法通过使用常用的单目深度估计网络和激光雷达点云的几何距离之间的互信息作为外在校准的优化度量来不断自动更新车辆寿命周期内相机 - 激光雷达校准值,而无需校准目标、地面真实训练数据和昂贵的离线优化。
Jun, 2023
建立了第一个开放共享的基准框架来评估常用的 INRs 和几何渲染函数在建图和定位中的性能,通过大量的实验研究,得出了密集特征网格优于其他 INRs(如三平面和哈希网格)的结论,并提出了一种混合编码策略来兼顾准确性和完整性,以满足 RGB-D SLAM 系统对鲁棒性和计算效率的要求。
Mar, 2024