Oct, 2022

PlanT: 通过物体级表示实现可解释的规划 Transformer

PDF
TL;DR该研究提出了一种名为 PlanT 的新方法，使用标准的 Transformer 架构，通过紧凑的对象层输入表示进行模仿学习来进行自动驾驶的计划，可以更好地识别相关对象，结合现有的感知模块即可实现更优秀的驾驶性能。
self-drivingplanningtransformer architectureobject-level input representationperception module
发现论文，激发创造
  • 基于 Transformer 的视觉引导规划在程序化任务中的应用

    使用人类决策过程的教学视频培训模型，学习从视频中直接生成可规划结构的状态和行动空间，并使用 Planning Transformer 解决了长期决策的复杂性问题，并通过实验证明了其在达到目标方面的良好性能表现。

    Sep, 2021

  • 自主车辆的可解释和灵活的目标条件神经规划器

    通过学习驾驶员示范，我们提出了一种可解释神经规划器，用于回归热力图，有效代表自主车辆在鸟瞰图中的多个潜在目标，以解决现实场景中存在的多个可接受计划问题，并通过使用负高斯核来加强热力图回归的监督学习，从而提高碰撞回避效果。我们在 Lyft 开放数据集上的系统评估表明，与之前的工作相比，我们的模型在多样的真实驾驶场景中实现了更安全和更灵活的驾驶性能。

    Sep, 2023

  • 可微空间规划：基于 Transformer 的实现

    利用数据中的统计规律，我们提出了空间规划变换器 (SPT)，通过学习障碍地图生成长程空间相关的行动来规划移动路径，实现了比先前数据驱动规划方法更好的算法，能够适应不同的障碍地图和任务目标。

    Dec, 2021

  • 基于 Transformer 的场景表示学习增强强化学习用于自动驾驶决策

    本文提出了一种名为 Scene-Rep Transformer 的决策算法，使用改进后的场景表示编码和连续预测潜在蒸馏来提高强化学习决策能力，通过在 5 种具有挑战性的模拟城市场景中验证，演示了数据效率和成功率，安全性和效率等方面的实质性改进。

    Aug, 2022

  • 自主驾驶中基于模仿的规划器的再思考

    基于模仿的驾驶规划者在最近几年取得了相当大的成功。然而，由于缺乏标准化的基准，各种设计的有效性仍然不清楚。新发布的 nuPlan 解决了这个问题，提供了一个大规模的真实世界数据集和一个标准化的闭环基准，以便进行公平比较。利用这个平台，我们对两个基本但尚未充分探索的方面进行了全面研究：自我规划的基本特征和减少复合误差的有效数据增强技术。此外，我们还强调了当前学习系统忽视的模仿差距。最后，结合我们的发现，我们提出了一个强大的基准模型 - PlanTF。我们的结果表明，一个经过精心设计的纯模仿规划者可以在与包含手工规则的最先进方法相比具有高度竞争力的性能，并在长尾案例中展示出卓越的泛化能力。我们的模型和基准可供公开使用。项目网站：https://this URL

    Sep, 2023

  • 潜在计划转换器：以潜在变量推理为基础的规划

    在长期回报任务中，规划变得必要。我们研究了利用离线强化学习数据重新规划的生成模型。具体来说，我们确定了缺少逐步奖励时的时间一致性作为一个关键的技术挑战。我们引入了潜在规划变压器（LPT），这是一种新颖的模型，利用潜在空间连接基于 Transformer 的轨迹生成器和最终回报。LPT 可以通过最大似然估计在轨迹 - 回报对上进行学习。在学习过程中，通过对潜在变量的后验采样，自然地收集子轨迹以形成一致的抽象，尽管有限的上下文。在测试时，从策略执行前的期望回报中推断潜在变量，实现了规划作为推理的想法。然后，它通过整个回合指导自回归策略，发挥了规划的作用。我们的实验表明，LPT 可以从次优轨迹中发现改进的决策。它在多个基准测试中取得了有竞争力的表现，包括 Gym-Mujoco、Maze2D 和 Connect Four，展示了对于细致的信用分配、轨迹拼接和环境变化的适应能力。这些结果验证了潜在变量推断可以成为逐步奖励提示的一个强有力的替代方案。

    Feb, 2024

  • 基于分层模仿学习的城市驾驶可解释运动规划器

    本文介绍了一种分层的模仿学习方法，包括一个高层次基于网格的行为规划器和一个低层次的轨迹规划器来增强神经网络的可靠性和稳定性。该方法可以被嵌入到基于规则的架构中，且在封闭回路仿真和实际驾驶测试中表现卓越，特别适用于复杂的城市自动驾驶场景。

    Mar, 2023

  • [Re] 使用 Transformers 进行可微分空间规划

    本文考虑了可微分的空间路径规划问题，并证明了使用空间规划变形器的方法优于以往的数据驱动模型，并利用可微结构同时学习无地图辅助的映射。同时，本文还在增加了障碍物复杂度的地图上验证了该方法的规划准确性的稳定性。

    Aug, 2022

  • 从 Transformer 表征学习认知地图以在部分观察的环境中进行高效规划

    本论文提出了一种带有离散瓶颈层的 Transformer 模型，通过学习压缩形式的历史观测和操作，从部分观测的环境中提取解释性的环境认知图，并用于解决路径规划问题，该模型在预测性能、求解速度和解释性上都表现出色。

    Jan, 2024

  • 基于序列的计划可行性预测，以优化任务和动作规划

    我们开发了一种基于 Transformer 的架构 PIGINet，该架构可通过融合图像和文本嵌入以及状态特征，预测计划可行性，并根据预测的满足度排序 TAMP 计划器生成的计划骨架，从而能够大大提高可行性规划的效率。

    Nov, 2022