现场施工工作中,自然语言指令与机器人助手直观人机交互
该论文介绍了一种将自然语言命令翻译成离散机器人动作的方法,并使用澄清对话共同改进语言解析和概念基础。将这个代理程序训练和评估在亚马逊的 Mechanical Turk 平台上的虚拟环境,并在真实环境中将学习到的代理迁移到物理机器人平台进行演示。
Mar, 2019
在这篇论文中,我们提出了一种通过自然交互实现复杂行为的增量学习系统,并在一个人形机器人上进行实现。我们利用大型语言模型(LLMs)对机器人行为进行高层次编排,通过在交互控制台中生成 Python 语句来调用机器人的感知和动作,实现交互循环,通过人类指令、环境观测和执行结果反馈给 LLM 来生成下一个语句,从而实现了通过交互学习改进机器人行为的目的。
Sep, 2023
本篇论文提出了一个通过深度学习技术处理自然语言和解决口语指令歧义的综合系统,旨在帮助机器人进行有效的人机交互,研究结果表明,通过建立对话式交互模型,机器人能够有效地理解和执行人类自然语言指令,并提高物体拾取任务的成功率。
Oct, 2017
本研究介绍了一种以人为中心的方法,通过设计一个 “工作伴侣漫游者” 来辅助建筑工人在他们现有的工作实践中,旨在提升安全性和工作流程的流畅性,同时尊重建筑劳动的技能特点。我们通过一个基于上下文强化学习(RL)驱动的模块化框架展示了在木工模板工程中部署机器人系统的深入研究,强调了在动态环境中机器人的流动性、安全性和舒适的工人与机器人的合作。我们的研究推动了建筑中机器人应用的发展,倡导一种协作模式,即适应性机器人支持而不是替代人类,突显了互动和协作的人机工作力量的潜力。
Mar, 2024
通过人机协作的方式,本文提出了一种增强基于大型语言模型的自主操作的方法,并应用于机器人的高级语言指令解析、运动规划和理解环境。在与人类的互动过程中,通过结合远程操作和动态运动原理实现机器人从人类引导中学习。通过实验表明,在复杂轨迹规划和环境推理方面,基于大型语言模型的机器人通过融入人类示范可以高效地完成任务。
Jun, 2024
本文介绍了一种结合自然语言处理和计划生成的方法,以实现机器人的多功能任务处理和人类般的任务理解能力。同时还探讨了一种能够最小化问答迭代的对话策略来解决自然语言指令中的歧义和缺失问题。
Aug, 2020
本篇论文介绍了一种新的多模态、领域无关的方法,结合自然语言编程和演示编程,允许用户在高层次上自然描述任务和相关条件,并通过对话和演示递归地解决任何模糊不清的问题。PUMICE 是一个可供最终用户编程的代理系统,实现了这种方法。10 位用户的实验显示出系统的可用性。
Aug, 2019
本文提出了一个新的学习框架,使得机器人可以成功地遵循自然语言路线指令,而无需任何先前环境的知识。该算法利用通过命令传达给机器人的空间和语义信息来学习关于空间扩展环境的度量和语义属性的分布,并将自然语言指令解释为关于预期行为的分布。通过对地图和状态分布进行推理,使用模仿学习的新型置信空间规划器直接求解策略,我们在可声控轮椅上评估了我们的框架。结果表明,通过学习和推理潜在的环境模型,该算法能够成功地遵循新颖的扩展环境中的自然语言路线指令。
Mar, 2015
该研究提出了一种导航指南模型,使机器人能够生成自然语言指令,帮助人们在事先未知的环境中进行导航,该模型使用人类演示数据通过反向强化学习训练决策策略,并通过神经序列到序列模型从自然语料库中生成自由形式的语句,实验测评表明,在与人类参考指令进行比较时,该方法获得了 72.18% 的 BLEU 分数,并且缩小了人类与机器人交互时的差距。
Oct, 2016