具有深度多模融合网络的复杂环境自主导航
该论文探讨了使用 CNN-DNN 网络融合构建机器人导航控制器在模拟环境中的应用。模拟环境模拟了地下救援情况，其中一个自主代理任务是在未知的洞穴系统中找到一个目标。使用模仿学习训练控制算法利用 LiDAR 和摄像头数据导航空间并找到目标。通过使用蒙特卡洛测试训练好的模型的鲁棒性。
Jan, 2024
本文提出了一种利用深度学习的基于模仿学习的概率驾驶模型，可以综合利用摄像机，激光雷达和雷达的信息来应对各种环境条件和动态障碍物，具有优异的泛化性能。
May, 2020
本研究旨在利用深度学习和多模态传感器融合技术提高端到端自动驾驶的性能和泛化能力，通过同时实现场景理解和车辆控制命令的像素级语义分割来测试该深度学习驱动的自动驾驶模型在高度逼真的仿真城市驾驶条件下的性能和通用能力，结果显示，该模型定位和避障等任务的成功率强于先前的模型，并验证了多模态传感器融合和场景理解子任务的协同作用提高了模型的性能和可行性。
May, 2020
自主移动机器人需要通过其载有的传感器 (如 LiDAR 和 RGB 相机) 感知环境，并做出适当的导航决策，为了在人类居住的公共空间中导航，这个导航任务不仅仅是避开障碍物，还需要考虑周围的人类及其意图，以对应社会规范进行导航行为的微小变化，机器学习方法在以数据驱动的方式捕捉这些复杂而微妙的社交互动方面显示出了有效性，而无需显式手工制作简化模型或代价函数，考虑到多种可用传感器模态和学习方法的效率，本文通过使用大规模真实数据集对使用多模态感知学习社交机器人导航进行了全面的研究，该研究分析了在不同社交场景中的全局和局部规划水平上的社交机器人导航决策，并将单模态和多模态学习与一组经典导航方法进行对比，同时从学习的角度分析了训练和泛化性能，我们还进行了一个人体研究，探究了使用多模态感知进行学习如何影响感知到的社交合规性，结果表明，与单模态学习相比，多模态学习在数据集和人体研究中具有明显优势，我们开源了代码，供社区在未来研究中使用多模态感知学习社交机器人导航。
Sep, 2023
通过跨模态融合方法和知识迁移框架，提出了一种改善移动机器人的泛化能力并实现从模拟到实际场景的导航技能转移的方法，通过教师 - 学生蒸馏架构，在理想环境中学习判别性表示和接近完美的策略，通过模仿教师的行为和表示，学生能够对来自多噪声模态输入的特征进行对齐，并减小变异对导航策略的影响，实验结果表明我们的方法在模拟和实际环境中全面超越了基准方法，并在不同工作条件下实现了稳健的导航性能。
Sep, 2023
提出了一种轻量级多模态数据融合网络（LMFNet），用于实现多模态遥感图像的融合和语义分割，通过权重共享、多分支视觉变换来同时容纳 RGB、NirRG 和 DSM 等各种数据类型，并通过多模态特征融合重构层和多模态特征自注意融合层对多模态特征进行重构和融合，实验证明了 LMFNet 的有效性。
Apr, 2024
本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。
Apr, 2021
本文针对自动驾驶感知任务中存在的多模态融合问题进行文献综述，分析超过 50 篇包括 LiDAR 和相机在内的感知传感器解决目标检测和语义分割任务的方法，并提出一种更合理的分类方法。
Feb, 2022