TransFusionOdom: 基于 Transformer 的 LiDAR - 惯导融合里程估计

Apr, 2023

TransFusionOdom: 基于 Transformer 的 LiDAR - 惯导融合里程估计

TransFusionOdom: Interpretable Transformer-based LiDAR-Inertial Fusion Odometry Estimation

Leyuan Sun, Guanqun Ding, Yue Qiu, Yusuke Yoshiyasu, Fumio Kanehiro

TL;DR本研究中，我们提出了一个基于 Transformer 的 LiDAR-Inertial 融合（即 TransFusionOdom）的端到端受监督的 odom 估计框架，用于解决传感器融合中的挑战性问题。我们提出的多注意力融合模块可展示多种同构和异构融合策略，以解决盲目增加模型复杂性带来的过拟合问题，而且使用了一种通用的可视化方法来说明基于 Transformer 的多模态交互学习过程。我们公开了一个综合多模态数据集以验证传感器融合贡献的通用性，并在 KITTI 数据集上进行了定量和定性 odom 评估，结果表明与其他相关工作相比，我们提出的 TransFusionOdom 具有更好的性能。

Abstract

multi-modal fusion of sensors is a commonly used approach to enhance the performance of odometry estimation, which is also a fundamental module for mobile robots. However, the question of \textit{how to perform f

multi-modal fusion sensor fusion odometry estimation transformer architecture lidar-inertial fusion

发现论文，激发创造

多模态融合 Transformer 用于端到端自动驾驶

本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。

Apr, 2021

TransFuser：基于 Transformer 传感器融合的自动驾驶模仿

该研究介绍了 TransFuser - 一种使用自我注意力机制将图像和雷达的信息进行融合，以提高自动驾驶中辨识物体和行驶路径的性能，实验证明该方法的表现在 CARLA 排行榜上优于以往所有的算法。

May, 2022

TransFusion: 基于 Transformer 的稳健激光雷达 - 相机融合用于三维目标检测

TransFusion 是一种稳健的解决方案，用于处理自动驾驶中 LiDAR 和摄像头数据融合时面对的图像质量下降和误差校准问题。该方法结合了使用浅层目标查询从 LiDAR 点云预测初始边界框和自适应融合对象查询与有用的图像特征，使用注意机制确定应该从图像中获取哪些信息的特点，在大规模数据集上表现良好。

Mar, 2022

视觉 Transformer 的多模态 Token 融合

本文提出了一个针对基于 Transformer 的视觉任务的多模态令牌融合方法（TokenFusion），可以在保持单模态 Transformer 结构基本不变的同时，学习多模态特征之间的相关性，并超越三个典型视觉任务中的最先进方法。

Apr, 2022

基于语义引导的基于 Transformer 的传感器融合用于改进航点预测

传感器融合在智能自驾代理中是关键，本文通过融合辅助任务和利用模仿学习来改进基础网络以提高道路导航的安全性和完整性。

Aug, 2023

mmFUSION: 三维物体检测的多模态融合

提出一种新的中级多模态融合（mmFUSION）方法，通过分别计算每种模态的特征并通过交叉模态和多模态注意机制进行融合，实现了精确的自动驾驶系统中的三维目标检测。

Nov, 2023

用于具身视觉的模态不变视觉里程计

提出一种基于 Transformer 的模态不变的 Visual Odometry 方法，可以应对不同或变化的导航代理的传感器套件，该模型在仅使用部分数据进行训练时，优于先前的方法。

Apr, 2023

自动驾驶感知的多模态传感器融合技术综述

本文针对自动驾驶感知任务中存在的多模态融合问题进行文献综述，分析超过 50 篇包括 LiDAR 和相机在内的感知传感器解决目标检测和语义分割任务的方法，并提出一种更合理的分类方法。

Feb, 2022

FusionAD: 自动驾驶的预测和规划任务的多模态融合

FusionAD 是第一个将相机和激光雷达传感器融合的统一框架，通过多模态特征的优势，在感知任务中实现了领先水平。

Aug, 2023

CrossFusion: 交错跨模态补充用于抵抗噪音的三维物体检测

本研究提出一种更健壮和噪声抗性的跨模态融合策略 - CrossFusion，充分利用设计的跨模式补充策略的相机和 LiDAR 特征，实验表明我们的方法不仅在不引入额外深度估计网络的情况下优于现有方法，还证明我们的模型具有噪声抗性和不需要重新训练，能够应用于特定故障场景，增加了 5.2％的平均精度（mAP）和 2.4％的归一化检测得分（NDS）

Apr, 2023