自动驾驶中基于大型语言模型的超对齐框架
自动驾驶技术是改变交通运输和城市流动性的催化剂,从基于规则的系统过渡到基于数据驱动的策略。该研究论文系统地回顾了大型语言模型在自动驾驶领域的应用,并评估了当前技术进展、主要挑战和未来方向。
Nov, 2023
通过利用大型语言模型(LLMs)的语言和推理能力,本研究提出了一个新的框架来增强自动驾驶车辆决策过程。通过在不同场景中进行试验和实时个性化示范,我们展示了利用 LLMs 能够改善驾驶决策、提供个性化驾驶体验并增强自动驾驶的安全和效果。
Oct, 2023
基于大型语言模型和视觉基础模型的多模态人工智能系统在实时感知、决策和工具控制方面与人类相似,并在自动驾驶和地图系统中引起广泛关注。本文对多模态大型语言模型驱动系统的关键挑战、机会和未来工作进行了系统研究,概述了多模态大型语言模型的背景、发展以及自动驾驶的历史,并总结了在自动驾驶中使用多模态大型语言模型的工具、数据集和基准,同时介绍了第一届大型语言和视觉模型自动驾驶研讨会的相关工作,提出了使用多模态大型语言模型在自动驾驶系统中需要解决的若干重要问题,并呼吁学术界和工业界共同促进该领域的发展。
Nov, 2023
利用大型语言模型(LLM)在自动驾驶中的相关能力进行定量研究,评估了 LLM 在空间识别、空间感知决策和遵守交通规则方面的准确性,并开发了一个使用 LLM 驾驶车辆的系统来验证其可行性。
Dec, 2023
自动驾驶面临重要的挑战:公众信任问题和长尾未知驾驶场景的安全担 忧。为解决这个问题,本文提倡在自动驾驶系统中整合大型语言模型,充分利用其强大的常识知识、推理能力和人机交互能力,将其作为智能决策者来提升整体自动驾驶性能和安全性。本文展示了两个案例研究的结果,证实了我们方法的有效性。此外,我们还讨论了将大型语言模型整合到其他自动驾驶软件组件 (包括感知、预测和仿真) 的潜在优势。尽管在案例研究中面临挑战,但大型语言模型的整合对于加强自动驾驶的安全性和性能具有潜在的希望和益处。
Nov, 2023
基于大型语言模型的自动驾驶框架 DriveMLM 并行闭环驾驶,在真实模拟器中进行,通过标准化决策状态与车辆控制命令之间的连接、使用多模态语言模型模拟行为规划模块以及设计有效的数据引擎进行数据集收集,该研究基于 CARLA Town05 Long 实验表明模型的驾驶得分达到 76.1,超过 Apollo 基准 4.7 分,验证了模型的有效性。
Dec, 2023
研究表明,大型语言模型(LLMs)在自动驾驶场景中能够适应和应用算术和常识推理的组合,通过分析检测到的物体和传感器数据、理解驾驶法规和物理规律,并提供额外的上下文信息,从而改善自动驾驶车辆的制动和油门控制,以做出更准确的决策。
Feb, 2024
未来的自动驾驶车辆依赖于人本主义设计和先进的人工智能能力,本文提出了一个新的框架,利用大型语言模型(LLMs)增强自动驾驶车辆的决策过程,目标是将 LLMs 的自然语言能力和上下文理解、专用工具使用、思维协同和各种模块行为与自动驾驶车辆无缝集成在一起,为自动驾驶技术提供个性化辅助、持续学习和透明决策,从而为更安全、更高效的自动驾驶技术作出贡献。
Sep, 2023
利用大型语言模型(LLM)的 Talk-to-Drive 框架,通过处理人类的口头指令并结合上下文信息做出自主驾驶决策,实现个性化的安全、高效和舒适,成功率达到 100% 的执行命令,并在现实世界的实验中将不同驾驶员的接管率大幅降低至高达 90.1%,是在真实自主驾驶环境中应用 LLM 的首次实例。
Dec, 2023
利用大型语言模型作为决策组件,通过认知路径和行为翻译算法实现在复杂的自治驾驶场景中对人类常识的综合推理,将大型语言模型的决策与低级控制器无缝集成,通过参数矩阵适应实现行为指令的执行,在单一和多车辆任务中均优于基准方法,具备常识推理能力,进一步推进复杂自动驾驶场景中的安全性、高效性、泛化性和互操作性。
Oct, 2023