以行动示范为导向,而非口头指示:将自然语言融入机器人可用性
本论文提出了一种利用大型语言模型进行机器人交互的方法,用于解决理解语义知识和实现机器人任务之间的矛盾问题,其中引入了基于概率过滤的策略来采用语言模型和基于物理环境的模型两者的优势,通过指导解码策略可以实现复杂的机器人长视程任务。
Mar, 2023
本文提出了一种基于视觉语言感知模型的新方法,可以在真实世界中从非结构化、离线、无需重置的数据中高效地学习通用的、以语言为条件的机器人技能,实验表明该方法配合 LLMS 可以在真实世界中完成长期、多层次的任务,并比以往方法少使用一个数量级的数据。
Oct, 2022
通过增强和无监督学习,训练具备最少先验知识的机器人在仿真 3D 环境中理解自然语言指令,将语言符号与周围物理环境的感知表示和相关的行动序列联系起来,实现语言含义的压缩和提取,从而揭示出关于语言基于感知概念的本质和潜力。
Jun, 2017
该论文介绍了一种将自然语言命令翻译成离散机器人动作的方法,并使用澄清对话共同改进语言解析和概念基础。将这个代理程序训练和评估在亚马逊的 Mechanical Turk 平台上的虚拟环境,并在真实环境中将学习到的代理迁移到物理机器人平台进行演示。
Mar, 2019
大型语言模型(LLMs)显示出它们在人类世界的丰富语义知识方面的强大自动推理和规划能力。然而,接地问题仍然阻碍了 LLMs 在真实环境中的应用。为了自主将 LLM 接地到环境中,我们提出了自主驱动接地(SDG)框架,用于自动和渐进地通过自主驱动技能学习将 LLM 接地。通过在著名的指令遵循任务集 - BabyAI 中进行验证,SDG 在最具挑战性的任务中达到了与成百上千次演示成本的模仿学习方法相媲美的性能,证明了学习到的技能的有效性,显示出我们框架的可行性和效率。
Sep, 2023
本研究通过将命令与层级规划框架中所有可用的任务或子任务联系起来,实现了一种能够在多个抽象层级上解释语言的模型。该方法提高了命令的准确性和机器人的响应速度,使机器人可以高效地在不同的任务抽象层次上进行规划。
Apr, 2017
该论文探讨了 “语言基础” 这一挑战,旨在通过将语言绑定到真实世界的参照物中来完全理解自然语言。该研究提供了三个贡献,分别为:a)分析了人工智能技术、数据集和用户界面等方面的语言基础研究概述;b)提出并实证了与语言基础相关的六个假设的信任因素,该实验是在人机清洁组中进行的;以及 c)探讨了信任语言基础的未来研究方向。
Sep, 2022
本研究旨在探讨语言模型是否具有生成具体执行计划的能力,并针对该问题提出了一个新的问题解决方案: G-PlanET。通过将高级目标和特定环境中物体的数据表输入,我们设计了一种迭代解码策略,并使用新的度量标准 KAS 评估模型执行计划的质量,实验结果表明,将环境信息编码为表格,迭代解码策略可以显著提高语言模型的表现。
Aug, 2022
本文研究了语言基础问题,提出了一种联合学习语言和感知模型的方法,采用基于概率的范畴语法来构建丰富的、组合的含义表示,并且在物理场景下评估了该方法的性能,演示了准确的任务性能和有效的潜变量概念归纳。
Jun, 2012
本文研究了使用自然语言标签并结合机器人交互数据集,来学习规划机器人视觉操作任务的问题,并发现此方法在具有一定自由度的语言规划任务中表现更优秀,成功地完成了使用自然语言描述的物品移动任务。
Sep, 2021