ICLRJan, 2023

通过自监督几何建模进行自动驾驶政策预训练

PDF
TL;DR本文提出了一种名为 PPGeo 的全自监督框架，通过对大规模不加标定、未标注的 YouTube 自驾视频建模，学习有关 visuomotor driving 的方针表示，从而解决样本不足和决策信息过剩等问题，并在多方面挑战性场景下取得了较大的改进。
发现论文，激发创造
  • 通过观看 YouTube 视频学习驾驶：动作条件对比策略预训练

    本文提出了一种基于相反动态模型和对比策略预训练的方法来为自动驾驶任务预训练策略模型，使用未经筛选的 YouTube 视频作为数据源，显著提高了强化学习和模仿学习等下游任务的准确性和效率。

    Apr, 2022

  • 面向视觉的三维目标检测的几何感知预训练

    提出了一种名为 GAPretrain 的几何意识预训练框架，通过使用几何丰富的模态和来自 LiDAR 点云的结构提示，实现跨不同模态之间的属性转移，从而解决多镜头自动驾驶中图像和视角不一致的问题，实现了很好的效果。

    Apr, 2023

  • 面具视觉预训练用于运动控制

    本文表明，来自真实世界图像的自监督视觉预训练对于从像素学习运动控制任务是有效的；为了加快像素学习的进展，本文还贡献了一套手工设计的基准任务，其中包括运动、场景和机器人等方面的变化。通过防冻度量的视觉编码器和强化学习，我们实现了与带标签、状态估计或专家演示相比高达 80% 的绝对成功率，有时甚至能与理论最好状态匹敌；还发现，来自 YouTube 或自我中心视频等野外图像，对于各种操作任务的视觉表现比 ImageNet 图像更好。

    Mar, 2022

  • 自主驾驶的基于行动的表示学习

    该研究探讨了利用人类驾驶产生的数据对自动驾驶系统进行改进的方法，提出了利用基于行动的驾驶数据进行学习表示的模型，该模型在弱注释图像方面表现出色，并且优于纯粹的端到端驾驶模型，同时更具有可解释性。

    Aug, 2020

  • 视觉点云预测能够实现可扩展自动驾驶

    由于视觉自主驾驶应用需要同时处理语义、3D 几何和时间信息以进行联合感知、预测和规划，因此我们提出了一种名为 “ViDAR” 的预训练模型，用于预训练下游视觉编码器，并通过新颖的隐变换操作将历史嵌入式表示转换为 3D 几何空间，以实现未来点云的预测。实验结果表明，在下游任务中取得了显著的增益，如在 3D 检测上的 NDS 提高了 3.1％，运动预测的错误率减少了约 10％，规划中碰撞率减少了约 15％。

    Dec, 2023

  • 面向分布感知的自主驾驶安全目标预测和符合模型规划

    本文提出了一种基于模块化架构的学车任务分解方法，在障碍感知、目标预测和规划方面均取得了优秀的方法，并在 CARLA 模拟器上实现了最新的优秀结果。

    Dec, 2022

  • 预训练视觉模型对控制的有效性不足为奇

    研究表明，预训练的视觉表示方法对于控制任务的学习同样有效，甚至在某些情况下可以优于基于真实状态的表示方法，而这些预训练模型仅需要使用标准视觉数据集，而不需要在目标环境中使用真实数据。

    Mar, 2022

  • DriveWorld：4D 预训练场景理解通过 World 模型用于自动驾驶

    通过 DriveWorld 框架，从多摄像头自驾车视频中进行时空预训练，有效提高了各种自主驾驶任务的性能。

    May, 2024

  • 自监控的视觉动作策略学习中的对应关系

    本文提出了一种使用自监督对应关系用于提高视运动策略学习的泛化性能和样本效率的方法，并通过模仿学习演示了在挑战性的操作任务中使用少量演示即可实现广泛的硬件验证。

    Sep, 2019

  • 预训练图神经网络基于自动驾驶的智能交通场景理解模型

    基于图注意力网络的通用预训练场景理解模型能够学习交通场景的通用交互和推理，支持各种下游任务，通过在城市和高速公路场景中进行验证实验，证明了该模型具有广泛应用的潜力，并通过消融实验展示了预训练任务设计的有效性。

    Apr, 2024