Jun, 2023

Generative Pre-trained Heterogeneous Graph Transformer 学习面向目标的软物体操作技能

PDF
TL;DRSoftGPT 是一种预训练软物体操纵技能学习模型，具有三维异质图表示和基于 GPT 的动力学模型，通过引入先前的知识，可以有效地学习各种软物体操纵技能，包括直接从人类演示中学习。
soft object manipulationrobotic skill learningprior knowledgesoftgpthuman demonstrations
发现论文，激发创造
  • 使用引导式策略搜索学习接触丰富型操作技能

    本文介绍了一种用于学习具有高度通用策略表示的动态操作行为的新方法，该方法可以扩展最近开发的策略搜索方法，并使用迭代重新拟合的时间变化线性模型来学习所需运动技能的一组轨迹，然后将这些轨迹统一到一个单一的控制策略中。

    Jan, 2015

  • 通过轨迹生成学习通用工具使用技能

    通过生成模型学习工具使用轨迹和对应工具位姿的序列，以实现对变形物体的操纵，进而提高自治系统在常见任务（如烹饪和清洁）中的智能水平。

    Sep, 2023

  • 通过视觉规划和执行学习机器人操作

    本文提出了一种基于数据驱动的建模方法，利用深度生成模型学习目标定向的物体操作，采用视觉规划和视觉跟踪控制解决目标检测问题。

    May, 2019

  • RoboGPT：为日常指令任务做出智能长期决策的智能代理

    在这篇研究论文中，我们提出了一种名为 RoboGPT 的机器人代理，通过两个模块（基于 LLMs 的规划与重新规划，以及专为子目标设计的 RoboSkill）来完成日常任务的具体决策。我们使用了一份新的机器人数据集和 RoboGPT 来增强基于 LLMs 的规划，并成功在诸多任务中超越了目前的最先进方法。

    Nov, 2023

  • 通过生成对抗自我模仿学习从示范中学习类别级可搬移物体操作策略

    本文通过模仿学习的方式解决在复杂情况下通过学习实现物体操作技能的问题，提出了一种可以应用于各项任务的无先验奖励的泛化策略学习方法，并通过几个关键技术，包括生成式对抗自我模仿学习、不断完善的判别器和平衡专家池中的实例，显著提高了分类水平操作策略学习的效率和泛化能力。实验结果在 ManiSkill 基准测试中都有明显改善。

    Mar, 2022

  • 学习在场景图上推理：将 GPT-2 微调为机器人语言模型，用于基于场景的任务规划的案例研究

    本文研究了如何通过 GPT-2 等大型语言模型将人类请求转化为机器人可执行的计划，并探讨了 LLM 的长期任务规划的适用性和通用性，结果表明 LLM 可有效地执行长期任务规划，展示了神经符号规划方法在机器人领域的应用前景。

    May, 2023

  • 通过翻译人类交互计划实现推广的零射击操作

    我们研究如何通过大量的人类视频数据学习机器人在与未知对象交互时的多样化操作技能，采用分解方法从人类视频数据中学习人类如何完成期望任务，并将其转化为机器人的行为，从而实现零样本通用操作。

    Dec, 2023

  • GPT-4V (ision) 用于机器人：来自人类演示的多模态任务规划

    我们介绍了一种通过整合人类动作观察来增强通用视觉语言模型 GPT-4V (ision) 的流水线，以促进机器人操纵。该系统分析人类执行任务的视频，并创建包含可支配见解的可执行机器人程序。实验表明，该方法在实现从人类示范中的真实机器人操作方面具有显著效果。

    Nov, 2023

  • 从范例物体轨迹和预抓取中学习熟练的操作技能

    本文介绍了一个基于 Pre-Grasp 的框架，可以生成各种不同的巧妙操作行为，无需特定任务的推理或超参数调整，并通过 TCDM 基准验证了其有效性。

    Sep, 2022

  • GraphGPT：使用生成式预训练 Transformer 进行图学习

    我们介绍了一种名为 GraphGPT 的自我监督建模方法，该方法通过将图或抽样子图转化为表示节点、边和属性的可逆令牌序列，并使用欧拉路径优先进行预训练，最后通过监督学习任务进行微调，该模型在大规模分子数据集 PCQM4Mv2、蛋白质相互作用数据集 ogbl-ppa 以及开放图基准数据集 ogbn-proteins 上取得了接近或优于现有方法的结果，并且能够训练超过 400M 个参数的 GraphGPT，具有一致提升的性能，这超出了 GNN 和先前的图变换模型的能力。

    Dec, 2023