May, 2023

CEMFormer：使用空间 - 时间 Transformer 从车内和外部相机中学习预测驾驶员意图

PDF
TL;DR本文提出了一种新的预测驾驶行为的框架，称为 “跨视图情节记忆变换器 (CEMFormer)”，能够通过时空变换器来学习驾驶员行为的一致内部表现，集成车内外摄像头信息和历史数据，利用提出的上下文一致损失作为辅助监督信号来改善预测性能，使用 Brain4Cars 数据集的广泛实验表明 CEMFormer 在驾驶员意图预测方面始终优于现有最先进的方法。
driver intention predictioncross-view episodic memory transformerspatio-temporal transformersdriving contextbrain4cars dataset
发现论文，激发创造
  • 从视频中预测驾驶员意图

    通过使用车内和外部摄像头数据，本研究提出了一种新的方法来改善对未来驾驶动作的预测性能，通过明确提取外部摄像头数据中的对象和道路级特征，我们的模型能够更准确地提前预测驾驶员意图，并提高道路安全性。

    Dec, 2023

  • SemanticFormer：使用知识图谱的全局语义交通场景表示方法用于轨迹预测

    本文介绍了一种使用混合方法通过对语义交通场景图进行推理来预测多模态轨迹的方法 SemanticFormer。该方法从知识图谱中提取语义元路径的高级信息，并通过多个注意机制的新型流水线对其进行处理，以预测准确的轨迹。所提出的架构包括一个分层异构图编码器，可以捕捉代理之间及代理与道路元素之间的时空和关系信息，以及一个使用概率融合不同编码并解码轨迹的预测器。最后，一个改进模块评估轨迹和速度配置文件的准许元路径，以获得最终的预测轨迹。与现有方法相比，对 nuScenes 基准测试的评估显示出改进的性能。

    Apr, 2024

  • S2TPVFormer：时空三视角视图用于具有时间一致性的 3D 语义占据预测

    本研究针对自主驾驶系统中对三维场景的整体理解和推理的重要性展开研究，将三维语义占据预测作为自主驾驶和机器人下游任务的预训练任务，与三维检测等方法相比，它更准确地捕捉了三维细节。现有方法主要关注空间线索，而忽视了时间线索。基于查询的方法常常使用计算密集的体素表示对三维场景信息进行编码。本研究介绍了 S2TPVFormer，它是 TPVFormer 的扩展，利用时空变换器结构进行一致的三维语义占据预测。强调了时空线索在三维场景感知中的重要性，特别是在三维语义占据预测中，我们的工作探索了较少研究的时间线索领域。通过利用三视角视图（Tri-Perspective View，简称 TPV）表示，我们的时空编码器生成具有时间上下文的嵌入，提高了预测的一致性，同时保持了计算效率。为了实现这一点，我们提出了一种新颖的时空跨视图混合注意机制（Temporal Cross-View Hybrid Attention，简称 TCVHA），促进了 TPV 视图之间的有效时空信息交流。对 nuScenes 数据集的实验评估表明，与 TPVFormer 相比，提出的 S2TPVFormer 在三维语义占据上取得了 3.1% 的平均交集联合（mIoU）改进，验证了其提高三维场景感知效果的有效性。

    Jan, 2024

  • BEVFormer: 基于时空 Transformer 通过多相机图像学习鸟瞰视角表示

    本文提出了新的 BEVFormer 框架，该框架学习使用时空变形器的统一 BEV 表示，以支持多个自主驾驶感知任务。在 nuScenes 测试集中，该方法达到了 56.9％的最新技术水平，且在低能见度条件下显着提高了速度估计和对象召回的准确性。

    Mar, 2022

  • 多模态融合 Transformer 用于端到端自动驾驶

    本文提出使用多模态融合转换器 TransFuser 对图像和 LiDAR 传感器的信息进行整合以实现先进的自动驾驶技术，在 CARLA 城市驾驶模拟器中实验验证证明该方法在处理复杂场景时比传统基于几何的融合方法有更好的效果，并且在减少碰撞方面表现出色。

    Apr, 2021

  • 基于 Transformer 的 2D 姿势和时空嵌入融合的分心驾驶操作识别

    该研究旨在通过将视频动作识别和 2D 人体姿势估计网络结合为一个模型，改善时间定位和分类准确性表现。最终，通过从不同的摄像头视角获取信息并消除误报，该模型在 2023 年 NVIDIA AI 城市挑战的自然驾驶行为识别中表现出色，实现了优化的区域覆盖得分 0.5079。

    Mar, 2024

  • 基于语义网格的短期预测与多摄像头融合

    本文提出并评估了一种新型架构，该架构生成一种自我中心的，基于网格的，预测性和语义可解释的环境表示。通过多个相机流的空间 - 时间融合，深度编码器 - 解码器网络被训练来将这些视图融合为一个统一的语义网格表示，并预测其周围环境的动态。

    Mar, 2019

  • CrashFormer：预测事故风险的多模态架构

    减少交通事故是全球公共安全的关键问题。该研究提出了一种名为 CrashFormer 的多模态架构，利用综合的输入数据，包括事故历史记录、天气信息、地图图像和人口统计信息来预测未来事故的风险，并在实验证明其在稀疏输入数据情况下的表现优于其他顺序和非顺序模型。

    Feb, 2024

  • ParkPredict+: 基于 CNN 和 Transformer 的停车场车辆多模态意图和运动预测

    该研究使用卷积神经网络和 Transformer 网络从轨迹历史记录和卫星图像中提取时间空间和语境信息，对停车场中人驱动车辆的多模态意图和轨迹预测问题进行了研究，并提出了一种新的方法，能够更精确地预测多个模态，并编码复杂的多智能体场景，同时能够适应不同的停车地图。为了训练和评估方法，该研究还介绍了一组公开的 4K 视频数据集，其中包括了准确的注释、高帧率和丰富的交通场景。

    Apr, 2022

  • 基于上下文视觉转换器的交通事故风险预测

    本文提出了一种通过上下文视觉变换器进行端到端训练的新框架，该框架可以有效地推理有关问题的空间和时间方面，同时提供准确的交通事故风险预测，并在两个不同地理位置的大规模交通事故数据集上优于现有技术。

    Sep, 2022