具有目标条件的分层预测器的长视程视觉规划
通过子目标生成和规划的分层视觉预见(HVF)框架,可以将任务分解成易于规划的片段,并自然地识别语义上有意义的状态作为子目标,在三个模拟的基于视觉的操作任务中,我们的方法实现了近 200% 的性能提升。
Sep, 2019
通过在空间和时间尺度上进行分层推理,我们提出使用多个专家基础模型联合解决长期目标任务的分层规划模型,通过语言、视觉和动作数据的训练,构建符号化的计划,并通过视觉 - 动作控制将计划转化为执行动作,以实现在新环境中做出有效决策。
Sep, 2023
本研究探讨了序列建模在轨迹数据中提取有用表示并对政策学习做出贡献的能力,并引入了 Goal-Conditioned Predicitve Coding (GCPC) 方法,通过对未来的目标条件潜在表示进行学习实现了竞争力表现。
Jul, 2023
我们提出了一种基于视觉的分层规划算法,利用神经符号任务规划和基于低级运动产生的联合框架,以指定目标为条件。该算法使用两级场景图形式来表示操作场景,即几何场景图和符号场景图,并使用图形神经网络来为高层任务规划和低层动作生成处理这些场景图。我们在物理模拟和现实世界中的厨房储物任务中验证了我们的方法,并证明我们的方法比标准的搜索任务和运动规划器运行速度高四个数量级。
Dec, 2020
通过自然语言引导视频预测,我们提出了一种新的视觉预测结构,使得计算机可以通过语言输入来分解高级任务计划,并且使用预先训练好的 transformers 使得模型具有一定的任务泛化能力,实验表明,这种结构相对于不具有任务规划或动作引导的基线模型具有显著优势,并且通过深入研究发现语言嵌入技术对于任务泛化能力的提升非常重要。
Oct, 2022
本文提出了一种基于神经网络的 Hierarchical Encoder-Decoder 模型,通过对输入帧进行编码,预测高级别的特征,再通过解码器生成预测图像,同时采用了对抗性损失以训练预测器,该方法可以进行 20 秒预测,并在 Human 3.6M 数据集上取得了更好的结果。
Jun, 2018
本文提出了一种名为 Planning to Practice(PTP)的方法,旨在解决普适性机器人面临的目标达成困难和训练代价高的问题,通过分解目标化问题和离线增强学习与在线探索相结合的方法,实现对复杂任务的有效训练和解决。
May, 2022
通过在一个学习好的世界模型的潜在空间 planning,我们引入了一种名叫 Director 的实用方法,直接从像素学习分层行为,无需手动指定目标空间或子任务,并在具有稀疏奖励的任务中表现超越了探索方法。
Jun, 2022
利用层次化的结构假设一系列低级别的人类行为可以从人类意图驱动,从而解决长期行动预测的任务,该模型在 EGO4D 挑战中排名第一,代码可在提供的链接中找到。
Jul, 2022