CVPRNov, 2023

用于在连续空间中执行自然语言指令的取送任务的完全自动化任务管理框架

PDF
TL;DR本文旨在开发一个能够根据视觉信息来执行任务的框架，以响应自然语言指令进行带有物体接地的取物和搬运（FCOG）任务。为了解决现有框架的局限性，我们提出了一个完全自动化生成、执行和评估 FCOG 任务的框架，并引入了将任务划分为四个不同子任务的方法。
发现论文，激发创造
  • 使机器人能够遵循抽象指令并完成复杂动态任务

    在不确定的环境中完成复杂任务的机器人系统的一个新框架，结合大型语言模型（LLMs）、知识库和综合力和视觉反馈（IFVF），通过分析用户的指令和环境，生成代码访问函数数据库并将抽象指令转化为可操作的步骤，并应用 IFVF 来应对噪音和干扰，以实现长期目标的任务。

    Jun, 2024

  • 精确高效地解读不同粒度的人机指令

    本研究通过将命令与层级规划框架中所有可用的任务或子任务联系起来，实现了一种能够在多个抽象层级上解释语言的模型。该方法提高了命令的准确性和机器人的响应速度，使机器人可以高效地在不同的任务抽象层次上进行规划。

    Apr, 2017

  • 从离线数据和众包注释中学习语言相关机器人行为

    本文研究了使用自然语言标签并结合机器人交互数据集，来学习规划机器人视觉操作任务的问题，并发现此方法在具有一定自由度的语言规划任务中表现更优秀，成功地完成了使用自然语言描述的物品移动任务。

    Sep, 2021

  • 语言模型与交互式任务规划

    一个互动机器人框架可以完成长期任务规划，并能在执行过程中轻松推广到新目标或不同任务。通过语言模型实现了高级规划和低级功能执行的系统，实现了对未知目标的新颖高级指令的生成，并通过仅替换任务指南来适应不同任务，而无需复杂的提示工程。此外，当用户发送新请求时，系统能够根据新请求、任务指南和先前执行步骤精确地重新规划。

    Oct, 2023

  • 具有功能面向对象网络的长视距任务规划与执行

    介绍了基于功能面向对象网络 （FOON）的知识表示，对象层次的规划以及动态运动原语 (DMPs) 的使用，提出了将 FOON 转化为 PDDL 的表示方法，在 CoppeliaSim 中展示了 任务规划和执行。

    Jul, 2022

  • 基于视觉理解规划的语言模型无需视觉输入推断详细计划

    本文研究了如何将自然语言指令转化为虚拟环境中可行的多步骤行动序列，通过实证表明，结合一定的视觉信息和上下文语境，GPT-2 模型能够成功地生成金标准语句执行序列，为基于语言的虚拟代理提供了强大的视觉语义规划模块。

    Sep, 2020

  • 视觉语言导航：在实际环境中解释基于视觉的导航指令

    通过视觉和语言方法的应用，本文提出了一个以真实影像为基础的强化学习环境 Matterport3D Simulator，为现实建筑物的自然语言导航问题提供了第一个基准测试数据集 Room-to-Room (R2R) dataset。

    Nov, 2017

  • 用于任务导向的语言基础建模的门控注意力架构

    提出一种基于端到端可训练神经网络架构，用于在 3D 环境中执行自然语言指令的任务导向语言接地问题，并使用带门控的注意力机制来组合图像和文本表示，并学习执行任务的策略。在一个新的基于 3D 游戏引擎的环境中展示了该模型在未见过的指令和环境下的有效性。

    Jun, 2017

  • 基于基础模型的人机协同持续机器人学习

    通过使用基于大型语言模型的规划器，我们克服了当前固定技能集的限制，提出了一种用于数据和时间高效教授机器人这些技能的方法，该系统可以重复使用新习得的技能，展示了开放世界和终身学习的潜力。

    Sep, 2023

  • Foon 知识检索

    通过图搜索机制，使用来自众多视频源的知识，提高机器人灵活任务规划和处理能力，进而创造性地适应新挑战和环境。

    Nov, 2022