本文提出了一种利用深度学习的基于模仿学习的概率驾驶模型，可以综合利用摄像机，激光雷达和雷达的信息来应对各种环境条件和动态障碍物，具有优异的泛化性能。

May, 2020

本文提出 Cross-Modal Embedding 框架，以利用多个输入模式的信息来解决自动驾驶系统中的交通代理的未来轨迹预测问题。该方法在训练时学习将一组互补特征嵌入到共享潜在空间中，并利用多个传感器模态进行优化，在测试时可利用单个输入模态生成预测，并取得了很好的效果。

Nov, 2020

本文提出了一种基于跨模态嵌入框架的自动驾驶预测交通代理未来轨迹的方法，利用多种输入模式和相关传感器来预测未来轨迹，具有较好的预测效果。

Apr, 2020

本文考虑了一个代理与未知和不确定的外部世界交互的情况，我们展示了预测了代理身体固有信息的模型会代表外部世界的对象，并通过积极预测身体信号来学习动态模型的过程具有优异的控制性能，此外还展示了使用相同模型可以回答关于真实世界中对象属性的问题。

Apr, 2018

提出一种适用于自主驾驶的、适应于车辆周围复杂地形信息的、六自由度动态学模型，并设计出相应的安全稳定的模型预测控制器。仿真实验表明，相比基线模型，该模型 - 控制器组合表现出更好的高速行驶性能，具备较高的安全性和稳健性。

May, 2023

该研究介绍了一个感知模型，通过协调来自不同模态的数据，构建一个完整的状态表示和吸收必要的信息，从而为开发复杂的控制策略铺平了道路。该模型基于感知输入和机器人动作之间的因果关系，采用生成模型来高效压缩融合信息并预测下一个观察值。我们首次提出了关于如何从视觉和本体感知预测触觉以及跨模态生成的研究，以及这对于软体机器人在非结构化环境中的交互的重要性。

Apr, 2024

在自主导航设置中，考虑到变化，我们开发了一种新颖的综合地形和机器人信息的前向动力学模型 TRADYN，它基于神经过程的元学习前向动力学模型，能够适应各种变化情况，并在实验中表现出更好的长时轨迹预测和导航计划性能。

Jul, 2023

该研究旨在提升基于实现值得信赖的人工智能设计需求的可靠性运动预测系统。其分析了当前评估基准的主要缺陷，提出了一个新的全面评估框架，并制定了用于模拟感知系统中的噪声的空间和时间鲁棒性评估方法。同时，提出了附加在多模态运动预测模型上的意图预测层，以提升输出的可解释性和生成更平衡的结果。最后，通过调查探讨了多模态轨迹和意图可视化中的不同元素来评估输出的可解释性。

Oct, 2022

我们提出了一种自适应融合方法，使用多种传感器，通过卷积神经网络专家的混合来学习权衡不同传感器的预测，该方法可适应于不同光照和摄像机运动模糊等影响。我们测试了该方法在室内和室外的人体检测，并证明了其可适应困难环境，同时，我们还提出了一个新的混合室内外环境中的 RGB-D 数据集，可供参考。

Jul, 2017

本文针对自动驾驶感知任务中存在的多模态融合问题进行文献综述，分析超过 50 篇包括 LiDAR 和相机在内的感知传感器解决目标检测和语义分割任务的方法，并提出一种更合理的分类方法。

Feb, 2022