ECCVJul, 2022

基于时空特征学习的端到端视觉自主驾驶

PDF
TL;DR该研究旨在提高自主驾驶的性能和安全性，提出了一种解释性的基于视觉的空时特征学习方案，称为 ST-P3，通过端到端方式同时实现感知、预测和规划任务，并在开放循环 nuScenes 数据集和闭环 CARLA 仿真上验证了其优越性。
autonomous drivingend-to-endspatial-temporal feature learningperceptionprediction
发现论文，激发创造
  • 深度转向：从时空视觉线索中学习端到端驾驶模型

    本文研究利用低成本车载摄像头进行自主驾驶算法，并通过深度神经网络将原始输入图像直接映射到方向盘角度的视觉模型，提出了一种结合空间和时间线索的模型，有助于解释学习到的模型，通过分析人类驾驶数据，比较了此模型与其他自主驾驶车辆状态先进模型的性能差异。

    Aug, 2017

  • 基于语义深度云地图和多智能体技术的端到端自动驾驶

    本文提出了一种深度学习模型，通过端到端和多任务学习方法进行训练，同时执行感知和控制任务，用于自动驾驶车辆的点对点导航；在 CARLA 模拟器上进行评估，同时与其他已有模型进行比较和消融实验，实现了更高的驾驶分数。

    Apr, 2022

  • 深度空间时间端到端感知自主车辆的深度学习方法

    本文介绍了一种名为 DeepSTEP 的端到端感知体系结构，它通过处理来自摄像头、激光雷达和雷达的原始传感器数据，并将提取的特征合并在一个深度融合网络中。DeepSTEP 将检测和定位相结合，并利用自我关注机制来关注最重要的特征，以提高自主车辆感知系统的性能和效率。

    May, 2023

  • Cohere3D：利用时间一致性进行无监督视觉自动驾驶的表示学习

    为了克服图像中缺乏深度线索的问题，本文提出了一种新的对比学习算法 Cohere3D，用于在长期输入序列中学习一致的实例表示，从而在自动驾驶的下游任务中实现多个输入帧的实例级对应。通过预训练阶段中从 LiDAR 传感器中的原始点云构建长期时序对应来辅助从基于视觉的鸟瞰特征图中提取实例级表示。实验证明该算法在数据效率和任务性能方面都取得显著改进。

    Feb, 2024

  • SparseDrive: 通过稀疏场景表示实现端到端自主驾驶

    稀疏驾驶 (SparseDrive) 是一种新的端到端自动驾驶范例，通过使用稀疏表示和并行动作规划，结合多模式问题建模和冲突感知重评分模块，实现了任务性能和效率的显著提升。

    May, 2024

  • 基于环视摄像头鸟瞰的联合车辆分割和自车轨迹预测

    基于多个深度学习技术的视觉感知线路预测系统可用于自动驾驶车辆，通过管辖车辆分割和自车轨迹预测的联合任务，综合表示周围车辆的鸟瞰视角并使用时空概率网络进行轨迹预测。

    Dec, 2023

  • TBP-Former: 学习视觉中心自动驾驶联合感知和预测的时间视角金字塔

    通过提出基于时间的俯视图金字塔变换器 (TBP-Former)，实现了自动驾驶中多个摄像头视图和时间戳的特征同步以及对空间 - 时间特征的优化，从而在 nuScenes 数据集上表现优于所有最先进的基于视觉的预测方法。

    Mar, 2023

  • 基于自我中心视角的未来车辆本体定位技术研究

    本文介绍了一种新颖的方法来同时预测自动驾驶中车辆的位置和规模，这主要是通过使用多流递归神经网络编码器 - 解码器模型来实现，在该模型中，密集的光流加入了捕捉运动和外观变化信息的能力。此外，本文还发现明确建模车辆的未来运动可以提高预测准确性。

    Sep, 2018

  • S2TPVFormer：时空三视角视图用于具有时间一致性的 3D 语义占据预测

    本研究针对自主驾驶系统中对三维场景的整体理解和推理的重要性展开研究，将三维语义占据预测作为自主驾驶和机器人下游任务的预训练任务，与三维检测等方法相比，它更准确地捕捉了三维细节。现有方法主要关注空间线索，而忽视了时间线索。基于查询的方法常常使用计算密集的体素表示对三维场景信息进行编码。本研究介绍了 S2TPVFormer，它是 TPVFormer 的扩展，利用时空变换器结构进行一致的三维语义占据预测。强调了时空线索在三维场景感知中的重要性，特别是在三维语义占据预测中，我们的工作探索了较少研究的时间线索领域。通过利用三视角视图（Tri-Perspective View，简称 TPV）表示，我们的时空编码器生成具有时间上下文的嵌入，提高了预测的一致性，同时保持了计算效率。为了实现这一点，我们提出了一种新颖的时空跨视图混合注意机制（Temporal Cross-View Hybrid Attention，简称 TCVHA），促进了 TPV 视图之间的有效时空信息交流。对 nuScenes 数据集的实验评估表明，与 TPVFormer 相比，提出的 S2TPVFormer 在三维语义占据上取得了 3.1% 的平均交集联合（mIoU）改进，验证了其提高三维场景感知效果的有效性。

    Jan, 2024

  • 将车辆映射到鸟瞰图中的学习

    本文提出了一种语义感知变换的方法，将仪表板摄像机视图中的检测结果映射到场景的更广泛、俯视的占用图中，通过大量的合成数据和深度神经网络的训练实现，结果表明该模型能够在真实世界的数据上进行泛化。

    Jun, 2017