Nov, 2022

控制变压器：基于 PRM 引导的返回条件序列建模的机器人在未知环境中导航

PDF
TL;DR本文提出控制变压器 (Control Transformer) 结合基于采样的概率路图规划器 (Probabilistic Roadmap Planner) 的低层策略，应用于机器人领域的长周期任务，结果表明我们的框架可以仅利用局部信息解决长周期导航任务，实现了零 - shot 的模拟现实转移 (transfer)，并在 Ant、Point、Humanoid 和 Turtlebot3 机器人上验证了该方法。
reinforcement learningnavigationprobabilistic roadmap plannerlocal informationsim2real transfer
发现论文，激发创造
  • PRM-RL: 结合强化学习与采样规划的长程机器人导航任务

    PRM-RL 是一种利用采样路径规划结合强化学习实现远程导航的分层方法，其中 RL 代理通过学习短距离点到点导航策略，采用面向特征和深度神经网络及 PRMs 进行构建，并通过采样计划器提供的规划路径实现机器人的控制。PRM-RL 的应用结果表明，在室内和城市环境下，比起单独使用 RL 代理或传统的采样路径规划方法，PRM-RL 实现了任务完成度的显著提升，在噪声传感器条件下成功完成长达 215 米的轨迹，且实现了对 1,000 米长的空中货运的无违约任务达成。

    Oct, 2017

  • 基于 PRM-RL 的室内远程导航

    PRM-RL 是一种层次机器人导航方法，其中用强化学习智能体学习解决短程避障任务，随后基于 PRM 建立可靠的仿真环境，最后在实际机器人上通过自动学习技术进行长距离室内导航，并且实验结果表明 PRM-RL 比其他基线算法更为成功并且具有鲁棒性。

    Feb, 2019

  • 基于结构化图模型和变压器的模型预测仿真

    我们提出了一种基于 transformers 和概率图模型的多个相互作用代理（道路用户）轨迹模拟方法，并将其应用于 Waymo SimAgents 挑战。我们的方法基于 MTR 模型，使用先验知识编码因子来生成并改进轨迹预测，该模型通过执行高斯牛顿方法的（近似）最大后验推理来采样数十个代理的未来轨迹。我们的方法名为 “模型预测模拟”（MPS），在安全关键指标（如碰撞率）方面改进了 MTR 基线，并且与任何潜在预测模型兼容，不需要额外的训练。

    Jun, 2024

  • 决策变压器：通过序列建模的强化学习

    本文基于序列建模思路，提出一种将强化学习抽象为序列建模问题的框架，使用 Transformer 架构和相关的语言建模技术（如 GPT-x 和 BERT）来解决增强学习任务，其中提出的 Decision Transformer 模型可以通过自回归模型来输出未来的动作并获得预期回报，其性能在 Atari、OpenAI Gym 和 Key-to-Door 等实验中达到了业界领先水平。

    Jun, 2021

  • 技能变换器：移动操纵的一体化策略

    通过结合条件序列建模和技能模块化，我们提出了 Skill Transformer 方法，用于解决长期规划的机器人任务，并通过 Transformer 架构和演示轨迹对高级技能和低级动作进行端到端训练，并通过技能预测模块保持整体任务的组合性和模块化，同时考虑低级动作并避免常见的模块化方法中的交接错误。在具有挑战性的重新排列问题中，我们对 Skill Transformer 进行了测试，发现其在新场景中执行稳健的任务规划和低级控制，并在成功率上比基线提高了 2.5 倍。

    Aug, 2023

  • 基于 Transformer 的目标导向强化学习在自主导航中的应用

    通过使用新型的 Goal-guided Transformer-enabled reinforcement learning 方法，将目标状态作为场景编码器的输入来引导场景表示与目标信息相耦合，从而有效实现自主导航。该方法具有比其他现有基线更高的数据效率、性能、鲁棒性和从仿真到真实世界的泛化能力。

    Jan, 2023

  • 自监督多任务预训练：控制变压器

    本文提出一种通用的预训练 - 微调流水线 ——Self-supervised Multi-task pretrAining with contRol Transformer（SMART），通过设计一种控制中心的自监督微调目标，结合控制变压器（CT）实现了对短期控制和长期控制相关的信息的捕捉，在 DeepMind 控制套件上的广泛实验表明 SMART 极大地提高了在不同的学习场景下（包括模仿学习和强化学习）的学习效率和泛化能力。

    Jan, 2023

  • 图像目标导航的变形金刚

    利用生成式 Transformer 模型，通过联合建模图像目标、摄像头观察和机器人过去的动作来预测未来的动作，从而实现对于长时间跨度的图像目标导航任务的稳健的、无需与环境实时交互的目标导向导航策略。

    May, 2024

  • 实时关注学习模型预测控制器用于现实导航

    提出一种新的隐式控制策略，即 Performer-MPC，它使用由 Performers 提供的视觉上下文嵌入进行参数化的学习代价函数，并通过联合训练代价函数和构建控制器来有效地解决对应的双层优化问题。与标准 MPC 策略相比，Performer-MPC 在杂乱环境中的目标达成率提高了 40% 以上，在人类环境中的社会指标提高了 65% 以上。

    Sep, 2022

  • 面向机器人操作的指导驱动历史感知策略

    本研究提出了一种基于 Transformer 的方法来处理人类语言指令和多视角场景观察，以提高机器人的精准操作，并在 RLBench 基准测试中成功实现 74 项任务，还表现出对未曾见过变化的任务的良好泛化性能。

    Sep, 2022