CVPRMar, 2023

TBP-Former: 学习视觉中心自动驾驶联合感知和预测的时间视角金字塔

PDF
TL;DR通过提出基于时间的俯视图金字塔变换器 (TBP-Former)，实现了自动驾驶中多个摄像头视图和时间戳的特征同步以及对空间 - 时间特征的优化，从而在 nuScenes 数据集上表现优于所有最先进的基于视觉的预测方法。
autonomous drivingperceptionpredictioncamera synchronizationspatial-temporal features
发现论文，激发创造
  • BEVFormer: 基于时空 Transformer 通过多相机图像学习鸟瞰视角表示

    本文提出了新的 BEVFormer 框架，该框架学习使用时空变形器的统一 BEV 表示，以支持多个自主驾驶感知任务。在 nuScenes 测试集中，该方法达到了 56.9％的最新技术水平，且在低能见度条件下显着提高了速度估计和对象召回的准确性。

    Mar, 2022

  • 揭示过去信息：合作式鸟瞰预测的时态嵌入

    通过将历史线索整合到当前 BEV 地图中，TempCoBEV 能够在协作感知中改进 BEV 地图分割的质量和可靠性。在 OPV2V 数据集上进行的广泛实验表明，TempCoBEV 在预测当前和未来的 BEV 地图分割方面比非时态模型表现更好，特别是在涉及通信故障的情景中，其整合历史线索到当前 BEV 地图的能力使预测结果在最佳通信条件下提高 2%，在通信故障下提高 19%。

    Jan, 2024

  • 基于环视摄像头鸟瞰的联合车辆分割和自车轨迹预测

    基于多个深度学习技术的视觉感知线路预测系统可用于自动驾驶车辆，通过管辖车辆分割和自车轨迹预测的联合任务，综合表示周围车辆的鸟瞰视角并使用时空概率网络进行轨迹预测。

    Dec, 2023

  • 基于视觉的三视角视图的 3D 语义占用预测

    采用鸟瞰图（BEV）描述自动驾驶中的三维场景难以描绘细粒度的三维结构，因此我们提出了三面图（TPV）表示法，并使用基于注意力机制的 TPV 编码器实现了显著的提升。模型可以通过稀疏监督有效预测语义占用，仅使用相机输入在 LiDAR 分割任务上可实现与基于 LiDAR 的方法相当的性能。

    Feb, 2023

  • UniFusion：用于鸟瞰图空时表示的统一多视角融合变压器

    本文提出一种新的空时融合 BEV 表征方法，可支持长距离融合，具有时变自适应权重，有效避免传统方法中的信息丢失和充分利用功能，同时实现地图分割任务的最优性能。

    Jul, 2022

  • S2TPVFormer：时空三视角视图用于具有时间一致性的 3D 语义占据预测

    本研究针对自主驾驶系统中对三维场景的整体理解和推理的重要性展开研究，将三维语义占据预测作为自主驾驶和机器人下游任务的预训练任务，与三维检测等方法相比，它更准确地捕捉了三维细节。现有方法主要关注空间线索，而忽视了时间线索。基于查询的方法常常使用计算密集的体素表示对三维场景信息进行编码。本研究介绍了 S2TPVFormer，它是 TPVFormer 的扩展，利用时空变换器结构进行一致的三维语义占据预测。强调了时空线索在三维场景感知中的重要性，特别是在三维语义占据预测中，我们的工作探索了较少研究的时间线索领域。通过利用三视角视图（Tri-Perspective View，简称 TPV）表示，我们的时空编码器生成具有时间上下文的嵌入，提高了预测的一致性，同时保持了计算效率。为了实现这一点，我们提出了一种新颖的时空跨视图混合注意机制（Temporal Cross-View Hybrid Attention，简称 TCVHA），促进了 TPV 视图之间的有效时空信息交流。对 nuScenes 数据集的实验评估表明，与 TPVFormer 相比，提出的 S2TPVFormer 在三维语义占据上取得了 3.1% 的平均交集联合（mIoU）改进，验证了其提高三维场景感知效果的有效性。

    Jan, 2024

  • FusionFormer：鸟瞰视图和时间一致 Transformer 的多感知融合用于 3D 目标

    多传感器模态融合的 FusionFormer 框架通过 transformers 混合多模态特征，获取鸟瞰图特征，并通过可灵活适应输入模态表示的深度预测分支提高相机检测任务的性能，同时提出一种基于 transformers 的即插即用的时域融合模块用于融合历史帧鸟瞰图特征，实现更稳定可靠的检测结果，通过对 nuScenes 数据集的评估，其在 3D 目标检测任务中获得了 72.6％的 mAP 和 75.1％的 NDS，优于现有的最先进方法。

    Sep, 2023

  • BEVerse: 基于鸟瞰视角的统一感知和预测，用于以视觉为中心的自动驾驶

    该研究提出了基于多相机系统的统一三维感知和预测框架 BEVerse，通过对多相机视频生成空间 - 时间鸟瞰（BEV）表示，并同时推理多个自动驾驶视觉任务，通过在 nuScenes 数据集上的实验表明，与现有的单任务方法相比，多任务 BEVerse 在 3D 物体检测，语义地图构建和运动预测方面表现更好，同时比时序范例更加高效。

    May, 2022

  • TempBEV: 结合图像与 BEV 空间的时间聚合以改进学习的 BEV 编码器

    通过融合多个传感器数据，通过学习的鸟瞰图编码器将不同视角的相机数据映射到一个联合的潜在空间中，通过在时域中聚合传感器信息，特别是单眼相机系统中缺乏明确的深度和速度测量时，能够进一步提高准确性。在文献中分析了鸟瞰图编码器并比较了它们的有效性，量化了聚合操作和潜在表示的影响。因此，我们开发了一种新颖的时域鸟瞰图编码器 TempBEV，它整合了来自两个潜在空间的聚合时域信息，并通过光流估计方法进行时域立体编码。在 NuScenes 数据集上的实证评估表明，TempBEV 在三维物体检测和鸟瞰图分割方面相比基线有显著改进。消融分析揭示了图像和鸟瞰图潜在空间中联合时域聚合的强大协同效应。这些结果表明了我们方法的整体有效性，并强烈支持在图像和鸟瞰图潜在空间中聚合时域信息。

    Apr, 2024

  • 基于时空特征学习的端到端视觉自主驾驶

    该研究旨在提高自主驾驶的性能和安全性，提出了一种解释性的基于视觉的空时特征学习方案，称为 ST-P3，通过端到端方式同时实现感知、预测和规划任务，并在开放循环 nuScenes 数据集和闭环 CARLA 仿真上验证了其优越性。

    Jul, 2022