Aug, 2022

[Re] 使用 Transformers 进行可微分空间规划

PDF
TL;DR本文考虑了可微分的空间路径规划问题，并证明了使用空间规划变形器的方法优于以往的数据驱动模型，并利用可微结构同时学习无地图辅助的映射。同时，本文还在增加了障碍物复杂度的地图上验证了该方法的规划准确性的稳定性。
differentiablespatial planningtransformersdata-driven modelsobstacle complexity
发现论文，激发创造
  • 可微空间规划：基于 Transformer 的实现

    利用数据中的统计规律，我们提出了空间规划变换器 (SPT)，通过学习障碍地图生成长程空间相关的行动来规划移动路径，实现了比先前数据驱动规划方法更好的算法，能够适应不同的障碍地图和任务目标。

    Dec, 2021

  • 将空间变换器推广到投影几何中，并应用于二维 / 三维配准

    提出了基于 Projective Spatial Transformer module 的可微分体绘制新方法，适用于医学应用。通过这种方法，可以 end-to-end 训练图像处理和投影模型，以近似与姿势参数相关的图像相似度函数，并通过梯度下降进行有效优化。这是空间变换器第一次用于投影几何，代码将在出版后公开。

    Mar, 2020

  • PlanT: 通过物体级表示实现可解释的规划 Transformer

    该研究提出了一种名为 PlanT 的新方法，使用标准的 Transformer 架构，通过紧凑的对象层输入表示进行模仿学习来进行自动驾驶的计划，可以更好地识别相关对象，结合现有的感知模块即可实现更优秀的驾驶性能。

    Oct, 2022

  • 基于 Transformer 的视觉引导规划在程序化任务中的应用

    使用人类决策过程的教学视频培训模型，学习从视频中直接生成可规划结构的状态和行动空间，并使用 Planning Transformer 解决了长期决策的复杂性问题，并通过实验证明了其在达到目标方面的良好性能表现。

    Sep, 2021

  • 从 Transformer 表征学习认知地图以在部分观察的环境中进行高效规划

    本论文提出了一种带有离散瓶颈层的 Transformer 模型，通过学习压缩形式的历史观测和操作，从部分观测的环境中提取解释性的环境认知图，并用于解决路径规划问题，该模型在预测性能、求解速度和解释性上都表现出色。

    Jan, 2024

  • 空间变换网络

    引入一种新的可学习模块 ——Spatial Transformer，能够在现有的卷积网络结构中显式地允许对数据进行空间操作，从而使得模型得以学习对于平移、缩放、旋转以及基于更一般的扭曲变换的不变性，其模型表现在多个基准测试数据集上达到了最先进的水平。

    Jun, 2015

  • 使用 Transformer 的拓扑规划实现视觉语言导航

    本文介绍了一种基于模块化方法的视觉和语言导航技术，使用拓扑地图和注意机制来生成导航计划，并通过低级动作执行控制器实现。实验证明，该方法在自由遍历环境下优于以往的端到端方法。

    Dec, 2020

  • 基于 Transformer 的神经代理模型用于可变尺寸地图下的链路级路径损耗预测

    使用基于 Transformer 的神经网络架构，从不同维度的地图和稀疏测量中预测链路级属性，而不需要离散化，这种方法可以高效地学习稀疏训练数据中的主要路径损耗，并在新的地图上具有良好的泛化能力。

    Oct, 2023

  • 面向目标的结构化 Transformer 规划器用于视觉语言导航

    本文提出了一种基于目标驱动的结构化 Transformer 规划器（TD-STP）用于长期目标导向和房间布局感知的视觉语言导航任务，该规划器设计了想象场景的分词机制以及一种结构化的全局规划的神经注意力架构，并在 R2R 和 REVERIE 基准测试数据集上的测试结果上比现有最优方法的成功率分别提高了 2％和 5％

    Jul, 2022

  • 自主系统的空间和社会情境感知基于 Transformer 的轨迹预测

    提出了一种基于转换器的轨迹预测模型，通过社交张量将目标代理的位移特征丰富化，考虑和周围代理的社交互动信息，以实现对周围代理的反应预测。

    Jun, 2024