大规模基础模型在自动驾驶中的应用
自动驾驶技术是改变交通运输和城市流动性的催化剂,从基于规则的系统过渡到基于数据驱动的策略。该研究论文系统地回顾了大型语言模型在自动驾驶领域的应用,并评估了当前技术进展、主要挑战和未来方向。
Nov, 2023
该研究综述介绍了基础模型在自动驾驶中的应用,探讨了其在规划、仿真、三维物体检测以及多模态模型方面的作用,并提供了基于模态和功能对基础模型的分类,同时指出了现有模型与创新自动驾驶方法之间的差距,并提出了填补这些差距的未来研究方向和路线图。
Feb, 2024
基于人工智能的大规模基础模型在自主驾驶中具有着巨大的应用潜力,能够提升场景理解和推理能力,增强语言和行动命令的认知推理,并改善自主驾驶系统的准确性和可靠性。同时,通过自我监督学习范式下的大规模数据,世界模型可以生成看似真实的未见过的驾驶环境,促进对道路使用者行为的预测和驾驶策略的离线训练,从而提高自主驾驶的安全性和处理长尾分布问题的能力。
Dec, 2023
通过利用大型语言模型(LLMs)的语言和推理能力,本研究提出了一个新的框架来增强自动驾驶车辆决策过程。通过在不同场景中进行试验和实时个性化示范,我们展示了利用 LLMs 能够改善驾驶决策、提供个性化驾驶体验并增强自动驾驶的安全和效果。
Oct, 2023
通过对基于大语言模型的自主代理的综合调查,本文提出了一个统一框架来概括以往研究,并总结了在社会科学、自然科学和工程领域中应用大语言模型的人工智能代理的各种应用及评估策略。同时,我们还讨论了该领域的挑战和未来方向。
Aug, 2023
利用大型语言模型(LLM)的 Talk-to-Drive 框架,通过处理人类的口头指令并结合上下文信息做出自主驾驶决策,实现个性化的安全、高效和舒适,成功率达到 100% 的执行命令,并在现实世界的实验中将不同驾驶员的接管率大幅降低至高达 90.1%,是在真实自主驾驶环境中应用 LLM 的首次实例。
Dec, 2023
本文探讨使用大型语言模型(LLM)作为自动驾驶系统的潜力,认为传统优化和模块化的自动驾驶系统无法应对复杂情况,提出了理想的自动驾驶系统应具备的推理、解释和记忆三个关键能力,并通过实验证明 LLM 在自动驾驶中具有卓越的推理能力为人类化自动驾驶的发展提供了有价值的思路。
Jul, 2023
基于大型语言模型和视觉基础模型的多模态人工智能系统在实时感知、决策和工具控制方面与人类相似,并在自动驾驶和地图系统中引起广泛关注。本文对多模态大型语言模型驱动系统的关键挑战、机会和未来工作进行了系统研究,概述了多模态大型语言模型的背景、发展以及自动驾驶的历史,并总结了在自动驾驶中使用多模态大型语言模型的工具、数据集和基准,同时介绍了第一届大型语言和视觉模型自动驾驶研讨会的相关工作,提出了使用多模态大型语言模型在自动驾驶系统中需要解决的若干重要问题,并呼吁学术界和工业界共同促进该领域的发展。
Nov, 2023
我们的研究引入了一个新的安全框架,利用多智能体大语言模型(LLMs)来保护自动驾驶车辆的敏感信息,同时确保 LLM 的输出符合驾驶规定和符合人类价值观。我们使用该框架评估了 11 个大语言模型驱动的自动驾驶提示的安全性、隐私性和成本方面,并对这些驾驶提示进行了问答测试,成功地证明了该框架的有效性。
Jun, 2024
未来的自动驾驶车辆依赖于人本主义设计和先进的人工智能能力,本文提出了一个新的框架,利用大型语言模型(LLMs)增强自动驾驶车辆的决策过程,目标是将 LLMs 的自然语言能力和上下文理解、专用工具使用、思维协同和各种模块行为与自动驾驶车辆无缝集成在一起,为自动驾驶技术提供个性化辅助、持续学习和透明决策,从而为更安全、更高效的自动驾驶技术作出贡献。
Sep, 2023