从部分观测图像中学习视觉规划模型

Nov, 2022

从部分观测图像中学习视觉规划模型

Learning Visual Planning Models from Partially Observed Images

Kebing Jin, Zhanhao Xiao, Hankui Hankz Zhuo, Hai Wan, Jiaran Cai

TL;DR本文提供了一种新框架 Recplan，用于从部分观察到的原始图像轨迹中学习转换模型。通过考虑轨迹中的前面和后面的图像，我们学习原始观察的潜在状态表示，然后基于这样的表示构建转换模型。此外，我们提出了一种基于神经网络的方法，学习估计朝着给定目标观察的距离的启发式模型。基于学习的转换模型和启发式模型，我们实现了一个图像的经典规划器，并在实证中展示了我们的方法比在具有不完整观测的环境中学习视觉规划模型的最新方法更有效。

Abstract

There has been increasing attention on planning model learning in classical planning. Most existing approaches, however, focus on learning planning models from structured data in symbolic representations. It is often difficult to obtain such structured data in real-world scenarios. Alt

planning model learning unstructured data raw image traces latent state representations neural network-based approach

发现论文，激发创造

学习基于一阶符号计划的基础表达

本研究提出了一种新的学习规划模型的方法，其既有组合方法学习清晰的动作模板，又能够从图像空间中产生动作模板，这是结合前两种方法的优势的一步。

Apr, 2022

使用因果关系 InfoGAN 学习可计划表示

该论文探讨了如何利用深度生成模型和计划算法生成高维图像的目标导向视觉规划序列，并以绳索操纵为例进行了演示。

Jul, 2018

基于 Transformer 的视觉引导规划在程序化任务中的应用

使用人类决策过程的教学视频培训模型，学习从视频中直接生成可规划结构的状态和行动空间，并使用 Planning Transformer 解决了长期决策的复杂性问题，并通过实验证明了其在达到目标方面的良好性能表现。

Sep, 2021

从无序和嘈杂计划痕迹中学习动作模型

本文提出了一种基于 MAX-SAT 框架的方法，用于自动学习规划系统的领域模型，通过输入一组含有无序动作和噪声的计划迹线来输出最佳的动作模型，并通过系统实证评估证明了该方法的有效性

Aug, 2019

从像素学习潜在动力学规划

通过图像学习环境动态、通过快速在线规划选择动作，利用深度计划网络（PlaNet）解决了连续控制任务中的挑战，同时使用的强度模型相对较少。

Nov, 2018

通过视觉规划和执行学习机器人操作

本文提出了一种基于数据驱动的建模方法，利用深度生成模型学习目标定向的物体操作，采用视觉规划和视觉跟踪控制解决目标检测问题。

May, 2019

学习基于概念的视觉因果转换和符号推理用于视觉规划

我们提出了一个可解释且具有通用性的视觉规划框架，包括一种新颖的基于替代的概念学习器（SCL），通过学习符号抽象和推理的任务规划，以及将视觉因果转换与语义相似的现实世界行为联系起来的视觉因果转换模型（ViCT）。通过使用学习的表示和因果转换来实现目标状态，我们在 AI2-THOR 基础上收集了一个大型视觉规划数据集（CCTP），并在这个具有挑战性的数据集上进行了大量实验，展示了我们方法在视觉任务规划中的卓越性能，同时我们还证明了我们的框架可以推广到未见过的任务轨迹和未见过的物体类别。

Oct, 2023

回归规划网络

本篇论文提出了一种联合学习和符号规划的回归规划网络方法，可以通过视觉输入直接生成长期符号计划，成功求解了预设规则和状态限制的一些本领域应用难题，表现出了接近于最优性能。

Sep, 2019

学习使用不确定拓扑地图进行规划

本文采用一种数据驱动的策略和基于图像的规划，应用于 3D 环境中的导航系统，通过机器学习方法实现了图像哈希表上的最短路径规划，比传统符号算法更优秀。

Jul, 2020

Plan2Vec: 通过潜在规划实现非监督表示学习

本文介绍了一种无监督学习的方法 ——plan2vec。通过对图像数据集进行加权图构建，利用路径积分将局部信息转化为全局的 embedding，并在长时间轨迹规划的目标值估计上具有高效性和准确性，可行性实验结果表明 plan2vec 能够将规划成本有效地摊销，实现线性时空复杂度的反应式路径规划。

May, 2020