使用卷积变换器的能量模型进行跨模态定位
本文介绍了一种多模态变压器深度学习框架，用于辅助感知的波束预测。通过使用卷积神经网络从一系列图像、点云和雷达原始数据中提取特征，并使用变压器编码器学习不同模态和时间实例之间的隐藏关系，生成下一级特征提取的编码向量。通过在不同模态的组合上进行监督学习来训练模型，实验结果表明，使用图像和 GPS 数据训练的解决方案在预测波束的距离准确率方面表现最佳，为 78.44％，并具有有效的推广性。
Sep, 2023
本研究提出一种新型的基于 Transformer 的神经网络，可以在 end-to-end 的情况下将 2D 图像注册到 3D LiDAR 地图中进行车辆定位，达到了一定的准确度和实用性。
May, 2023
通过综合感知和通信技术，提出了一种利用图像和雷达数据合成激光雷达点云的方法，从而增强无线通信系统的性能，并通过与现有感知模态的整合，提高各种无线应用的表现。
May, 2024
本文提出了一种车载摄像机定位的解决方案，通过神经网络和几何投影模型实现从地面图像匹配到高空卫星地图上，并把匹配问题转化为姿态估计问题来提高定位精度。
Apr, 2022
本文提出了一种基于视觉的方法，利用公开的卫星图像作为对环境的唯一先验知识，对地面车辆进行定位，并通过神经多视点模型消除图像之间的视角和外观差异。实验证明，该方法能够在训练集之外的环境中定位地面图像。
Apr, 2017
提出一种基于 Transformer 的模态不变的 Visual Odometry 方法，可以应对不同或变化的导航代理的传感器套件，该模型在仅使用部分数据进行训练时，优于先前的方法。
Apr, 2023
本文提出一种基于深度学习的 RaLL 框架，将雷达和激光雷达嵌入到共同的神经网络特征空间中，利用激光雷达现成的映射技术来实现雷达在室外环境下的精准定位和低成本的雷达地图构建。实验结果表明，该系统在 90km 的驾车中具有优异的性能，甚至在 UK 训练，South Korea 测试的泛化场景中仍然表现出色。
Sep, 2020
本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。
Apr, 2021
本文使用新型网络结构和更密集的卫星图像描述符进行多模式区域定位，可将度量定位误差中位数相对于同一区域、跨区域和跨时间的现有技术分别降低 51％、37％和 28％。
Aug, 2022