Jan, 2024

从 Transformer 表征学习认知地图以在部分观察的环境中进行高效规划

PDF
TL;DR本论文提出了一种带有离散瓶颈层的 Transformer 模型，通过学习压缩形式的历史观测和操作，从部分观测的环境中提取解释性的环境认知图，并用于解决路径规划问题，该模型在预测性能、求解速度和解释性上都表现出色。
transformerpath planningpartially observed environmentscognitive mapsin-context accuracy
发现论文，激发创造
  • 可微空间规划：基于 Transformer 的实现

    利用数据中的统计规律，我们提出了空间规划变换器 (SPT)，通过学习障碍地图生成长程空间相关的行动来规划移动路径，实现了比先前数据驱动规划方法更好的算法，能够适应不同的障碍地图和任务目标。

    Dec, 2021

  • PlanT: 通过物体级表示实现可解释的规划 Transformer

    该研究提出了一种名为 PlanT 的新方法，使用标准的 Transformer 架构，通过紧凑的对象层输入表示进行模仿学习来进行自动驾驶的计划，可以更好地识别相关对象，结合现有的感知模块即可实现更优秀的驾驶性能。

    Oct, 2022

  • 重新思考 Transformer 在解决 POMDP 中的应用

    这篇论文研究了在现实世界场景中，像强化学习（RL）这样的序贯决策算法不可避免地面对具有部分可观察性的环境，着重探讨了流行架构 Transformer 在部分可观察马尔可夫决策过程（POMDPs）中的有效性，并揭示了它的理论局限性，将可被 Transformer 难以建模的正则语言归约为 POMDPs，这对于 Transformer 在学习 POMDP 特定的归纳偏见构成了重大挑战，因为 Transformer 缺乏像 RNNs 这样的其他模型中固有的循环特性，该论文质疑了 Transformer 作为序列模型应用于 RL 的普遍信念，并提出引入逐点循环结构，深度线性循环单元（LRU）作为部分可观察 RL 的一个合适的替代品，并通过实证结果凸显了 Transformer 的次优性能和 LRU 的可观实力。

    May, 2024

  • 自主系统的空间和社会情境感知基于 Transformer 的轨迹预测

    提出了一种基于转换器的轨迹预测模型，通过社交张量将目标代理的位移特征丰富化，考虑和周围代理的社交互动信息，以实现对周围代理的反应预测。

    Jun, 2024

  • 在令牌世界中学习玩 Atari 游戏

    基于模型的增强学习代理利用变换器已经显示出更好的样本效率，因为它们能够对扩展的上下文进行建模，从而得到更准确的世界模型。然而，对于复杂的推理和规划任务，这些方法主要依赖于连续表示，这使得对实际世界的离散属性，例如不可插值的不相交对象类的建模变得复杂。在这项工作中，我们引入了基于变换器学习的离散抽象表示（DART），一种利用离散表示对世界和学习行为进行建模的样本高效方法。我们通过包含变换器 - 解码器进行自回归世界建模，并通过注意到世界模型的离散表示中与任务相关的线索进行学习行为的变换器编码器。为了处理部分可观测性，我们将过去时刻的信息作为记忆令牌进行聚合。DART 在 Atari 100k 样本效率基准测试中表现优于先前的最先进方法，具有 0.790 的中位人类标准化分数，并在 26 个游戏中击败了人类。我们在此 https URL 上发布我们的代码。

    Jun, 2024

  • 用深度 Transformer Q 网络进行部分可观察强化学习

    本文提出了一种基于 Transformer 和自注意力机制的全新架构 Deep Transformer Q-Networks（DTQN），可用于处理强化学习中的局部可见性、记忆和训练困难等问题，实验结果表明该模型相较于传统的循环神经网络方式在处理局部可视化任务时更加快速和稳定。

    Jun, 2022

  • [Re] 使用 Transformers 进行可微分空间规划

    本文考虑了可微分的空间路径规划问题，并证明了使用空间规划变形器的方法优于以往的数据驱动模型，并利用可微结构同时学习无地图辅助的映射。同时，本文还在增加了障碍物复杂度的地图上验证了该方法的规划准确性的稳定性。

    Aug, 2022

  • 通过离散扩散学习自主驾驶的无监督世界模型

    通过将传感器观测结果进行标记化并使用离散扩散方法预测未来情况，我们提出了一种新的世界建模方法，可以显著改进学习点云观测的世界模型，并在自动驾驶等机器人应用中实现了超过 65％的 Chamfer 距离缩减（1s 预测）和超过 50％的 Chamfer 距离缩减（3s 预测）。结果表明，对标记化的机器人经验进行离散扩散可以启用类似 GPT 的无监督学习方法，以提高机器人代理的性能。

    Nov, 2023

  • 利用 Transformer 实现强化学习中的可解释时间逻辑运动规划

    通过将 Transformer 模块与强化学习相结合，开发了一个基于二次 Transformer 引导的时间逻辑框架（T2TL），以学习并执行各种自适应控制任务。其采用的 LTL 指令通过 co-safe LTL 指定，可以将复杂任务分解为可学习的子目标，从而将非马尔可夫奖励决策过程转换为马尔可夫过程，并通过同时学习多个子任务来提高采样效率。

    Sep, 2022

  • 使用 Transformer 的拓扑规划实现视觉语言导航

    本文介绍了一种基于模块化方法的视觉和语言导航技术，使用拓扑地图和注意机制来生成导航计划，并通过低级动作执行控制器实现。实验证明，该方法在自由遍历环境下优于以往的端到端方法。

    Dec, 2020