基础模型在推进自动驾驶车辆方面的前景角色

Dec, 2023

基础模型在推进自动驾驶车辆方面的前景角色

Prospective Role of Foundation Models in Advancing Autonomous Vehicles

Jianhua Wu, Bingzhao Gao, Jincheng Gao, Jianhao Yu, Hongqing Chu...

TL;DR基于人工智能的大规模基础模型在自主驾驶中具有着巨大的应用潜力，能够提升场景理解和推理能力，增强语言和行动命令的认知推理，并改善自主驾驶系统的准确性和可靠性。同时，通过自我监督学习范式下的大规模数据，世界模型可以生成看似真实的未见过的驾驶环境，促进对道路使用者行为的预测和驾驶策略的离线训练，从而提高自主驾驶的安全性和处理长尾分布问题的能力。

Abstract

With the development of artificial intelligence and breakthroughs in deep learning, large-scale foundation models (FMs), such as GPT, CLIP, etc., have achieved remarkable results in many fields including natural

artificial intelligence foundation models autonomous driving scene understanding long-tail distribution

发现论文，激发创造

自动驾驶中的基础模型调查

该研究综述介绍了基础模型在自动驾驶中的应用，探讨了其在规划、仿真、三维物体检测以及多模态模型方面的作用，并提供了基于模态和功能对基础模型的分类，同时指出了现有模型与创新自动驾驶方法之间的差距，并提出了填补这些差距的未来研究方向和路线图。

Feb, 2024

自动驾驶的视觉基础模型铸造：挑战、方法和机遇

自动驾驶中用于构建视觉基础模型（VFMs）的关键技术包括数据准备、预训练策略和下游任务适应等方面，同时介绍了 NeRF、扩散模型、3D 高斯喷洒和世界模型等关键进展，并提出了未来研究的全面路线图。

Jan, 2024

大规模基础模型在自动驾驶中的应用

通过将大语言模型（LLMs）与基础模型结合，利用人类知识、常识和推理，重新构建现有的自动驾驶系统，以改变当前的长尾人工智能困境。

Nov, 2023

基础模型向导：通过知识和推理指引基础模型

基于对代理与基础模型互动模式的分类和对该模式的扩展架构提出的综述性论文，为实现基础模型在实际人工智能系统中的潜力提供了指导。

Feb, 2024

基础模型在地理空间人工智能中的机遇与挑战

通过在多个地理空间子领域进行测试，发现在某些文本模态的地理任务中，基于任务不可知的大型语言模型可以在零样本或少样本学习设置中胜过基于任务特定的全监督模型，但是在其他涉及多种数据模态的地理任务上，现有的基础模型仍然不如基于任务特定的模型表现。因此，通过处理不同的地理数据模态，建议可能性使用能够通过地理对齐来推理各种类型的地理数据的多模态基础模型来应对地理人工智能挑战的多模态特征。

Apr, 2023

医学基础模型综述

基于自我监督方法使用大规模数据集训练的基础模型（FMs）被广泛应用于各个领域，包括医疗保健领域，特别在自然语言处理、医学图像分析、临床大型语言模型和病理组学数据等方面。该综述论文全面概述了 FMs 在医疗保健领域的历史、学习策略、旗舰模型、应用和挑战，并提供了详细的医疗应用分类，同时讨论了 FMs 所面临的挑战和未来研究方向。

Jun, 2024

CityFM：解决城市挑战的城市基础模型

通过开放地理空间数据和自我监督学习，CityFM 构建了一个多模态的预训练基础模型，用于处理地理空间数据和回答城市相关问题，并在道路、建筑和区域级别的任务上获得了优秀的性能。

Oct, 2023

走向图基础模型：调研与展望

提出了图基础模型（GFMs）的概念，并对其关键特征和技术进行首次全面阐述，然后将现有工作根据其依赖性分为三类，即基于图神经网络和大语言模型。本文不仅提供了对当前图基础模型领域的综合概述，还讨论了这一发展中领域的潜在研究方向。

Oct, 2023

智能交通系统中前沿人工智能、基础模型和大语言模型应用的调查

该综述论文探讨了前沿人工智能、大型语言模型和基础模型在智能交通系统领域的转型影响，强调它们在推进交通智能化、优化交通管理和实现智慧城市方面的重要作用。

Jan, 2024

生物医疗健康中联邦基础模型的挑战与机遇

该调查研究了基本模型（FM）在人工智能中的转化影响，重点关注其与联邦学习（FL）相结合在推进生物医学研究中的应用。基于巨大数据集通过无监督预训练、自监督学习、指导微调和人类反馈强化学习等方法训练的基本模型，如 ChatGPT、LLaMa 和 CLIP，代表了机器学习的重要进展。这些模型具有生成连贯文本和逼真图像的能力，在需要处理包括临床报告、诊断图像和多模态患者互动等多样数据形式的生物医学应用中发挥关键作用。将联邦学习与这些复杂模型结合起来，为利用其分析能力同时保护敏感医疗数据的隐私提供了有前途的策略。这种方法不仅提升了基本模型在医学诊断和个性化治疗方面的能力，还解决了医疗保健中数据隐私和安全的重要问题。该调查回顾了基本模型在联邦环境中的当前应用，强调了挑战，并确定了未来的研究方向，包括扩展基本模型、管理数据多样性以及提高联邦学习框架内的通信效率。旨在鼓励进一步研究基本模型和联邦学习的结合潜力，为突破性的医疗创新奠定基础。

May, 2024