Jun, 2020

ToolNet: 利用常识泛化预测机器人计划合成中的工具使用

PDF
TL;DR提出一种基于神经网络的模型 ToolNet，可通过人类示范学习常识知识，使机器人具有了适应新场景使用未知工具的能力，并结合常识知识仓库来预测最佳工具，结果表明该模型的正确率和普适性较传统图神经网络有明显提高。
robottoolsneural networkgeneralizationcommonsense knowledge
发现论文，激发创造
  • TANGO: 移动机械手预测工具交互的常识推理

    研究如何通过图神经网络来训练机器人学习常识知识以及如何使用物体作为工具完成任务，同时关注在缺失某些已知工具的情况下如何进行泛化。

    May, 2021

  • 通过轨迹生成学习通用工具使用技能

    通过生成模型学习工具使用轨迹和对应工具位姿的序列，以实现对变形物体的操纵，进而提高自治系统在常见任务（如烹饪和清洁）中的智能水平。

    Sep, 2023

  • 通过物理理解进行即兴发挥：利用新颖物品及视觉先见的工具

    通过机器学习技术，训练视觉和物理多物互动理解的模型，并开发了一个基于样本的优化器来实现复杂的工具使用任务，实验表明目前此方法可以通过原始像素输入解决多种复杂的工具使用任务，能够感知和使用新的对象作为工具，同时根据需要灵活选择是否使用工具。

    Apr, 2019

  • 学习非刚性抓姿注册的通用工具使用

    通过我们提出的一种新方法，仅使用单个演示，我们实现了工具使用行为的强化学习，通过给予初值设定和形状奖励信号的引导来解决多指机械手抓取配置的推广问题，并实现复杂的工具使用任务并在测试时推广到未见过的工具。

    Jul, 2023

  • GoalNet: 从人类计划演示中推断出合取目标谓词，以用于机器人指令跟随

    本研究旨在使机器人能够学习如何按照自然语言指示序列化其动作以执行任务，通过人类伙伴的成功演示。为了达到这个目的，我们引入了一种新颖的神经符号模型 GoalNet，它能够从人类演示和语言任务描述中推断目标谓词的上下文和任务依赖关系，并结合学习和规划以提高在多阶段任务中的决策能力。通过在一个表示语言变化的基准数据集上进行测试，我们证明了 GoalNet 在任务完成率上比现有基于规则的方法有了显著改进（51％）。

    May, 2022

  • RoboNet：大规模多机器人学习

    本文提出 RoboNet，一个用于共享机器人经验的开放数据库，结合视觉先见性和监督逆模型两种学习算法，用于视觉引导的机器人操作的泛化模型学习，其预训练和微调性能超过使用 4 倍至 20 倍更多数据的机器人特定培训方法。

    Oct, 2019

  • 大型语言模型与创造性机器人工具使用

    本研究论文通过利用大型语言模型构建了一个名为 RoboTool 的系统，通过接受自然语言指令并输出可执行的机器人控制代码，实现了机器人在包含隐含物理约束和长期规划的任务中的创造性使用工具的能力。通过广泛的实验验证，RoboTool 在处理否则无法完成的任务方面表现出了熟练的水平，从而扩展了机器人系统的能力。

    Oct, 2023

  • ToolNet: 通过工具图连接大型语言模型与强大工具

    ToolNet 是一个可拔插的框架，通过将工具组织成有向图的方式，使大语言模型能够处理成千上万个工具，并通过迭代选择来解决问题，从而在具有挑战性的多跳工具学习数据集中取得显著结果，并且具有工具故障的弹性。

    Feb, 2024

  • TOOLVERIFIER：通过自验证实现针对新工具的泛化

    通过自我验证方法，在语言模型中学习使用工具是构建通用助手的重要里程碑，但仍然是一个尚未解决的问题。本研究介绍了一种通过自我对比问题在工具选择和参数生成过程中区分相似候选项的方法。在 ToolBench 基准测试的四个任务上进行了大量实验，包括了 17 个之前未见的工具，结果显示相较于少样本基准线平均提高了 22％，即使在候选工具之间的区别非常微妙的情况下也能有效改进。

    Feb, 2024

  • 基于模拟自监督的工具操作任务取物学习

    本文提出了一个任务导向抓取网络 (TOG-Net)，通过大规模模拟自我监督与程序生成的工具对象，同时优化工具的任务导向抓取和操纵策略。模型在打扫和敲打两个任务中表现出较高的成功率，并取得了显著的效果。

    Jun, 2018