本文介绍了一种多模态变压器深度学习框架，用于辅助感知的波束预测。通过使用卷积神经网络从一系列图像、点云和雷达原始数据中提取特征，并使用变压器编码器学习不同模态和时间实例之间的隐藏关系，生成下一级特征提取的编码向量。通过在不同模态的组合上进行监督学习来训练模型，实验结果表明，使用图像和 GPS 数据训练的解决方案在预测波束的距离准确率方面表现最佳，为 78.44％，并具有有效的推广性。

Sep, 2023

通过 CycleGANs 从未配对的数据中进行图像转换，以实现从模拟 LiDAR 到真实 LiDAR（sim2real）的传感器建模，从低分辨率到高分辨率的真实 LiDAR（real2real）的生成以及使用鸟瞰图和极坐标 2D 表示法处理 LiDAR 3D 点云。实验结果表明，该方法具有很高的潜力。

May, 2019

本文提出利用深度生成模型解决 Lidar 数据的合成问题，并通过以 2D 坐标点图表示的方法，成功地生成高质量的样本，同时为数据学习了有意义的潜在表示。提出的数据表示方案将 2D 信号与绝对位置信息相结合，对噪声和缺失数据有较好的鲁棒性，有效地恢复出激光雷达扫描图。

Dec, 2018

本研究通过提出基于 CycleGAN 架构的域自适应框架，在从真实 3D LiDAR 传感器获取的鸟瞰（BEV）点云图像上检测车辆时，将合成的点云数据与真实点云数据之间的领域转移缩小，相对于常规方法提高了超过 7% 的平均精确度分数。

May, 2019

该论文介绍了使用 LiDAR 和摄像头进行传感器数据融合以实现自主机器人的自由空间检测，并通过高斯过程回归的分辨率匹配算法来更好地利用多模式传感器数据流以提高感知步骤的性能表现。

Oct, 2017

本文提出了一个管道，用于在汽车场景中高效压缩 LiDAR 观测数据，首先利用 RangeNet++，一个用于语义推断点标签的深度神经网络来减少信道负载，其次是使用 Draco 对选择的点进行压缩，实验证明该方法可以在 LiDAR 的帧率下实现实时性。

Mar, 2021

提出了 EfficientQ3M，一种高效、模块化、多模态的解决方案，用于基于 transformer 的 3D 目标检测模型中的对象查询初始化。通过与 “模态平衡” 的 transformer 解码器相结合，该方法能够在解码器过程中使查询能够访问所有传感器模态，并在竞争激烈的 nuScenes 基准测试中超越现有方法，展示了基于输入的多模态查询初始化的优势，并且比 LiDAR - 摄像机初始化的可用替代方法更高效。该方法可以应用于任何组合的传感器模态作为输入，展示了它的模块化特性。

Oct, 2023

本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。

Apr, 2021

开发自动驾驶中，真实车辆传感器模拟是重要的因素。我们提出利用基于数据的方法，使用来自实际测试驾驶的相机图像和 LiDAR 扫描数据训练生成对抗网络，实现相互翻译。通过添加分割数据和密集深度图像的相机图像，以及通过测试真实与合成点云之间物体检测网络的泛化效果评估 LiDAR 模拟性能，我们结合这两种方法，模拟并展示了真实的 LiDAR 点云。

Nov, 2023

通过使用 LiDAR 传感器和场景语义，我们提供了一种新的仅依靠 LiDAR 传感器的增强型原始扫描的稠密伪点云框架，无需摄像机，该框架首先利用分割模型从原始点云中提取场景语义，然后使用多模态的域转换器生成伪图像分割和深度提示，从而生成一种富含语义信息的稠密伪点云，并通过引入新的语义引导投影方法增强检测性能。

Sep, 2023