Hint-AD:全面对齐的端到端自动驾驶可解释性
这项调查综述了针对基于行为克隆训练的视觉自驾系统的可解释性方法。该综述从计算机视觉、深度学习、自动驾驶和可解释人工智能等多个研究领域收集贡献,并讨论了自驾车的解释性定义、动机、方法以及未来挑战。
Jan, 2021
本文探讨使用大型语言模型(LLM)作为自动驾驶系统的潜力,认为传统优化和模块化的自动驾驶系统无法应对复杂情况,提出了理想的自动驾驶系统应具备的推理、解释和记忆三个关键能力,并通过实验证明LLM在自动驾驶中具有卓越的推理能力为人类化自动驾驶的发展提供了有价值的思路。
Jul, 2023
DriveGPT4是一种可解释的端到端自动驾驶系统,利用大型语言模型,能够理解车辆行为、提供相应推理、回答用户的问题以增强交互,同时也能以端到端的方式预测车辆的低层控制信号,并且在多个任务中展现出优越的性能和通用性。
Oct, 2023
自动驾驶技术是改变交通运输和城市流动性的催化剂,从基于规则的系统过渡到基于数据驱动的策略。该研究论文系统地回顾了大型语言模型在自动驾驶领域的应用,并评估了当前技术进展、主要挑战和未来方向。
Nov, 2023
我们提出了一种从普通流程转变的方法,即通过引入大型语言模型作为认知代理,将人类智能融入自动驾驶系统,实现更加人性化的自动驾驶。我们的方法通过函数调用访问一个多功能工具库、具有常识和经验知识的认知记忆以进行决策制定,并且具备由思维推理、任务规划、动作规划和自我反思构成的推理引擎。在大规模nuScenes基准测试中,我们的Agent-Driver显著优于现有的自动驾驶方法,并且还表现出较强的可解释性和少样本学习能力。
Nov, 2023
基于多模态大语言模型和扩散技术,我们提出了一种自主驾驶世界模型ADriver-I,该模型以交织的视觉-动作对为基础,能够预测当前帧的控制信号,并使用历史的视觉-动作对和生成的控制信号来预测未来的帧,通过无限反馈循环,ADriver-I实现了自主驾驶。我们通过在nuScenes和大规模私有数据集上进行广泛实验,证明了ADriver-I在性能上的卓越表现,希望该模型能为未来自主驾驶和具身智能提供新的洞见。
Nov, 2023
基于大型语言模型的自动驾驶框架 DriveMLM 并行闭环驾驶,在真实模拟器中进行,通过标准化决策状态与车辆控制命令之间的连接、使用多模态语言模型模拟行为规划模块以及设计有效的数据引擎进行数据集收集,该研究基于CARLA Town05 Long实验表明模型的驾驶得分达到76.1,超过Apollo基准4.7分,验证了模型的有效性。
Dec, 2023
人工智能在自动驾驶的感知和规划任务中表现出优越性能,但不透明的人工智能系统加剧了自动驾驶的安全保障难题。为了缓解这一挑战,我们首次对透明解释性人工智能方法在安全可信自动驾驶领域进行了全面系统的文献综述。我们分析了自动驾驶中人工智能的要求,并针对数据、模型和机构三个关键方面提出了透明解释性人工智能的基本原则。在此基础上,我们提出了五个透明解释性人工智能对安全可信自动驾驶的关键贡献,包括可解释设计、可解释的代理模型、可解释的监控、辅助解释和可解释的验证。最后,我们提出了一个名为SafeX的模块化框架,将这些贡献集成起来,为用户提供解释并同时确保人工智能模型的安全性。
Feb, 2024
Robots powered by 'blackbox' models need to provide human-understandable explanations, and RAG-Driver is a retrieval-augmented multi-modal large language model that achieves state-of-the-art performance in producing driving action explanations, justifications, and control signal prediction, with exceptional zero-shot generalisation capabilities to unseen environments.
Feb, 2024
通过使用多模态大型语言模型(MLLMs)实现自动驾驶,连接高级指令和低级控制信号,形成多层次驱动系统AD-H提供了优秀的驾驶性能和普适性,充分发挥了MLLM在感知、推理和规划方面的潜力。
Jun, 2024