May, 2023

使用视觉动作转换器模拟任务与运动规划

PDF
TL;DR该论文提出了一种新的模仿学习系统 OPTIMUS，通过模仿 TAMP 代理来训练大规模视觉运动装置策略，从而介绍了一种专门为模仿学习策划的 TAMP 数据生成流程，并演示了 OPTIMUS 可以解决各种挑战性的基于视觉的操作任务。
imitation learningtask and motion planningrobot manipulationtransformer modelslarge-scale datasets
发现论文，激发创造
  • 人机协同任务和运动规划的仿真学习

    这篇论文介绍了一种新颖的人机交互任务与动作规划系统 (HITL-TAMP)，它通过结合模仿学习和自动规划的优势，实现了由人类远程操作员管理机器人团队的功能，提高了数据收集效率，并在接触密集任务上训练出了出色的性能。

    Oct, 2023

  • 一次即视视觉模仿的变形金刚

    本文介绍了一种使用神经网络和 Transformer 注意机制的方法，通过向机器人展示上下文视频来缩小机器人学习中的领域差距，并实现了对单次操作任务的 2 倍成功率提升。

    Nov, 2020

  • VIMA: 多模态提示的通用机器人操作

    使用多模态提示设计了一个基于转换器的通用机器人代理 (VIMA)，可以表达多种机器人操作任务，且在新颖的零激励泛化情况下优于先前的状态最优方法。

    Oct, 2022

  • 基于优化的任务和动作规划综述：从经典到学习方法

    任务和运动规划（TAMP）综述了基于优化的 TAMP 的规划领域表示、解决方法以及逻辑规划和模型优化之间的相互作用等内容，并强调高效解决 TAMP 的算法结构，包括分层和分布式方法，并突出了经典方法与当代大语言模型等学习创新之间的协同性，并讨论了 TAMP 的未来研究方向和应用挑战。

    Apr, 2024

  • 任务与动作规划的具身终身学习

    提出了一个新颖的机器人终身学习问题模型，通过对任务和运动规划（TAMP）的学习利用模块化的方法设计生成混合模型，并根据辅助任务确定在线上使用共享或非共享模型，解决了数据如何在任务模型之间共享的问题。该方法在 2D 领域的模拟和 BEHAVIOR 基准测试中的实验中均实现了显著的规划成功率提升。

    Jul, 2023

  • 基于序列的计划可行性预测，以优化任务和动作规划

    我们开发了一种基于 Transformer 的架构 PIGINet，该架构可通过融合图像和文本嵌入以及状态特征，预测计划可行性，并根据预测的满足度排序 TAMP 计划器生成的计划骨架，从而能够大大提高可行性规划的效率。

    Nov, 2022

  • AutoTAMP: 基于 LLMs 的自回归任务和运动规划

    该研究提出了一种基于大型语言模型和任务运动规划的方法，以实现机器人对自然语言任务描述的理解和执行。该方法可以检测并纠正语法和语义错误，并在复杂任务领域中优于使用大型语言模型作为规划器的其他方法。

    Jun, 2023

  • 学习任务和动作规划的符号运算符

    研究了 TAMP 中的运算符学习问题，提出了一种自下而上的关系学习方法来学习运算符，并将其应用于机器人规划中。实验结果表明，该方法在三个领域中的性能明显优于几个基线，包括最近文献中基于图神经网络的三种无模型方法。

    Feb, 2021

  • JUICER: 数据高效的机器人装配模仿学习

    本文提出了一种在小规模人类示范预算下改善模仿学习性能的流程，并将其应用于需要高精度和长视程操作的装配任务，通过结合表达能力强的策略架构和数据集扩展与基于仿真的数据增强等技术来扩展数据集支持并在高精度要求的瓶颈区域附近监督模型的局部纠正动作，实现了在仿真环境中进行四个家具装配任务并直接从 RGB 图像中组装多达五个零件，性能超过了模仿学习和数据增强的基线。

    Apr, 2024

  • 基于风格转移的语音和视觉场景理解，用于机器人从视频中获取操作序列

    本文介绍一种从指令视频中生成机器人动作序列的方法，用于实现人机协作，并展示了该方法在各种烹饪动作中的成功率达到 32%。

    Jun, 2023