Nov, 2020

自然语言机器人指令跟随的小样本物体定位与映射

PDF
TL;DR该研究探讨了如何通过学习一个机器人策略来遵循自然语言指令，从而轻松地将其扩展以推理新对象，并介绍了一个基于数据增强的少量学习语言条件对象基础方法，以识别对象并将其与指令中的对象匹配。然后，将其整合到遵循指令的策略中，从而使其能够通过添加样例来推理出先前未见过的对象。经过评估，该方法在测试时比现有技术水平表现得更好，即使先前的方法在训练过程中观察到所有的对象。
robot policynatural language instructionsobject groundingaugmented reality datainstruction-following policy
发现论文，激发创造
  • 视觉动作学习和规划的少样本目标推断

    本研究提出一种基于 few-shot 和 meta 学习的方法，以实现在不确定环境下，通过从少量任务成功状态中学习目标来实现机器人的自主学习和行动。

    Sep, 2018

  • 基于经验的语言学习快与慢

    文章介绍了如何通过深度神经网络的元学习，分集记忆以及明确的多模态环境来实现迅速绑定，提供了人类认知发展的基本支柱和与人类用户交互的代理的一个潜在的转变能力。

    Sep, 2020

  • 将语言与取放物任务结合

    本研究提出了一种基于自然语言指令的机器人系统，通过对话解决歧义，推断出物体及其关系，能够按照用户表达的空间关系成功地放置物体，具有较好的放置效果。

    Feb, 2021

  • 指令跟踪的目标表示：半监督语言接口控制

    通过使用少量语言数据，我们提出了一种联合图像和目标条件策略的方法来解决语言指示问题，该方法获得了在不同场景下进行操作任务的指令跟随表现，并具有从标记数据中外推语言指示的能力。

    Jun, 2023

  • 通过隐式图对齐进行少样本上下文内模仿学习

    通过将模仿学习作为对象图表示之间条件对齐问题来解决机器人在新对象上学习任务的困难，使得机器人能够在示范之后立即在一组新对象上执行任务，无需先验知识或进一步训练。

    Oct, 2023

  • 一台机器人的 Few-Shot 增量式目标学习

    本文介绍了使用少量的视觉示例逐步训练机器人识别不同物体类别的实用系统，并在表格整理任务中演示了该系统的能力。实验评估表明，我们的方法几乎可以达到一次性使用所有示例（批量训练）训练的系统的性能水平。

    Jul, 2020

  • 从离线数据和众包注释中学习语言相关机器人行为

    本文研究了使用自然语言标签并结合机器人交互数据集，来学习规划机器人视觉操作任务的问题，并发现此方法在具有一定自由度的语言规划任务中表现更优秀，成功地完成了使用自然语言描述的物品移动任务。

    Sep, 2021

  • 在未知环境中跟随自然语言指令的学习模型

    本文提出了一个新的学习框架，使得机器人可以成功地遵循自然语言路线指令，而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布，并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理，使用模仿学习的新型置信空间规划器直接求解策略，我们在可声控轮椅上评估了我们的框架。结果表明，通过学习和推理潜在的环境模型，该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。

    Mar, 2015

  • LLM-Planner: 借助大型语言模型进行少样本基于实例的具身 agent 规划

    本研究使用大型语言模型 (Large Language Models, LLMs) 作为规划师，以完成视觉感知环境中的复杂任务的具有身体接口的代理人。研究提出了 LLM-Planner 方法进行 few-shot planning，同时提出通过物理接口增强 LLMs 的简单而有效的方法，实验结果表明该方法在 ALFRED 数据集上能够取得与使用全数据训练的基线模型相当的性能。

    Dec, 2022

  • 在二维环境中的交互式基于语境的语言习得和推理

    基于 2D 迷宫世界，通过虚拟代理学习语言的模型，将语言的生成与理解与其他计算流程分离，从而成功地解决新单词出现的问题。模型可以解释人类可理解的中间输出结果，大幅优于其他五种比较方法。

    Jan, 2018