Oct, 2023

Talk2BEV: 自然语言增强的自动驾驶鸟瞰地图

PDF
TL;DRTalk2BEV 是一个面向自动驾驶环境中鸟瞰地图的大规模视觉语言模型接口。它将语言和视觉模型与 BEV 结构化地图相结合，消除了任务特定模型的需求，从而能够满足各种自动驾驶任务，包括视觉和空间推理、预测交通参与者的意图以及基于视觉线索的决策。在大量场景理解任务上对 Talk2BEV 进行了广泛评估，并发布了包含 1000 个人工注释的 BEV 场景的基准数据集 Talk2BEV-Bench，其中包含超过 20,000 个问题和真实答案。
talk2bevvision-language modelbird's-eye view mapsautonomous drivingscene understanding
发现论文，激发创造
  • 角度俯视注入多模型的全面自主驾驶理解

    多模态大语言模型在自动驾驶任务中的应用，使用 NuInstruct 数据集和 BEV-InMLLM 方法进行多视角、时态相关信息的驾驶任务处理，相比现有的大语言模型，BEV-InMLLM 取得约 9% 的性能提升。

    Jan, 2024

  • BEV-CLIP: 复杂场景下自动驾驶的多模态 BEV 检索方法

    我们提出了第一种多模式 Bird's-Eye View（BEV）检索方法 BEV-CLIP，它利用描述性文本作为输入来检索相应的场景，通过利用大型语言模型（LLM）的语义特征提取能力来实现零样本检索，并结合来自知识图的半结构化信息来提高语义丰富性和嵌入的多样性，我们的实验结果在 NuScenes 数据集的文本到 BEV 特征检索上达到了 87.66% 的准确率，我们论文中的示例案例支持我们的检索方法也可以有效识别某些长尾场景。

    Jan, 2024

  • BEV-Locator: 一种使用多视角图像的端到端视觉语义定位网络

    本文提出了一种基于多视角摄像机图像的端到端视觉语义定位神经网络 BEV-Locator，并通过大规模 nuScenes 和 Qcraft 数据集的实验结果证明该方法能够有效地关联来自多视角图像和全局语义地图的跨模态信息，可以在多种场景下估计车辆姿态，实验结果表明其横向、长向平移和航向角度的平均绝对误差分别为 0.052m，0.135m 和 0.251 度。

    Nov, 2022

  • CoBEVT：稀疏 Transformer 的合作俯视图语义分割

    本文提出了 CoBEVT，这是一个通用的多代理多摄像头感知框架，能够协同生成 BEV 地图预测。在 V2V 感知数据集 OPV2V 上的广泛实验表明，CoBEVT 实现了合作 BEV 语义分割的最先进性能。此外，CoBEVT 还可应用于其他任务，包括单代理多摄像头的 BEV 分割和多代理 LiDAR 系统的 3D 对象检测，实现了实时推理速度和最先进的性能。

    Jul, 2022

  • LetsMap：无监督语义 BEV 地图的表示学习

    该研究提出了一种无监督学习方法，从单眼正视图像生成语义鸟瞰地图，以在自动驾驶的各种决策任务中提供强大的遮挡推理能力，其使用了 1% 的标注数据和无额外标记数据，在 KITTI-360 和 nuScenes 数据集上表现与现有最先进的方法相当。

    May, 2024

  • 通过车载摄像头理解道路语义的鸟瞰视角

    通过使用车载摄像头在线估计语义化的鸟瞰图，本文研究了自主导航过程中的场景理解，包括图像级别理解、鸟瞰图级别理解和时间信息聚合。作者提出的新架构在鸟瞰图理解方面显著优于现有技术水平。

    Dec, 2020

  • 使用几何和语义点云进行鸟瞰图语义分割

    本文介绍了使用车载摄像头拍摄的 RGB 图像进行鸟瞰视角像素级别的物体语义分割的方法，为了解决这个问题，提出了一种新的两阶段感知管道，它明确预测像素深度，并将它们与像素语义结合起来进行有效的推断，同时，使用抽象的高层几何特征进行转移学习，方法能够提高 24% 的 mIoU。

    Jun, 2020

  • U-BEV: 高度感知的鸟瞰图分割与基于神经地图的重定位

    提出了一种名为 U-BEV 的神经网络架构，通过多个高度层次的场景推理和 SD-map 数据的可微模板匹配，有效改善了车辆重定位性能。该方法在 nuScenes 数据集上的实验结果显示，相较于其他相似复杂度的基于 BEV 和 Transformer 的方法，综合性能提高了 1.7-2.8 mIoU，重现率提高了超过 26%。

    Oct, 2023

  • 从鸟瞰感知的恶魔深入探索：综述、评估与方法

    本文综述了关于 Bird's-eye-view（BEV）感知的最新研究工作，探讨了多传感器融合、BEV 视角下物体检测与定位等关键问题，并介绍了一系列实用的指南和工具来提高 BEV 任务的性能，最后指出了该领域未来的研究方向。

    Sep, 2022

  • DriveVLM：自动驾驶与大型视觉语言模型的融合

    DriveVLM 是一种利用 Vision-Language Models（VLMs）进行场景理解和规划的自动驾驶系统，通过一系列思维链模块实现场景描述、分析和层次规划，并提出了 DriveVLM-Dual 作为一种混合系统以解决 VLMs 在空间推理和计算需求上的限制，实现了稳健的空间理解和实时推理速度，通过对 nuScenes 数据集和 SUP-AD 数据集的广泛实验，证明了 DriveVLM 和 DriveVLM-Dual 在复杂和不可预测的驾驶条件下的有效性和增强性能。

    Feb, 2024