自我恢复提示:可提示的通用服务机器人系统,带有基础模型和自我恢复功能
提出了一种基于高斯过程(GP)的模型,用于主动检测未来运动规划失败的风险,并在风险超过阈值时触发恢复行为来从事实现目标的安全状态。该方法仅在仿真环境中进行训练,并可以泛化到不同机器人平台的实际环境中。仿真和物理实验证明了该框架既能预测规划器的失败,又能将机器人恢复到可能成功规划的状态,并以敏捷的运动方式进行操作。
Feb, 2024
建立具有普适性的通用机器人系统一直是人工智能领域的长期目标。本研究调查了如何将自然语言处理(NLP)和计算机视觉(CV)领域的基础模型应用于机器人领域,并探讨了构建面向机器人的基础模型的可能形式,以及使用基础模型实现通用机器人系统所面临的主要挑战和未来方向。
Dec, 2023
通过使用语言模型提示,我们提出了新一代机器人可以通过使用机器人模态语言模型(MLM)单独独立地与特定的机器人模态进行通信。一个中央任务模态通过大型语言模型(LLM)中介整个通信过程以执行机器人任务。我们将这种新的机器人设计模式命名为 Prompting Robotic Modalities(PRM),并在一个新的机器人框架 ROSGPT_Vision 中应用了这种 PRM 设计模式。ROSGPT_Vision 通过仅使用两个提示(一个视觉提示和一个 LLM 提示)来执行机器人任务,实现了处理视觉数据、做出明智决策和自动执行操作的能力。
Aug, 2023
通过开发多模态、多任务、视觉 - 语言 - 行为模型,本文提出一条路径,以增加机器人辅助手术中机器人的自治性,最终我们认为,机器人辅助手术能够从通用模型中获益,并提供三个指导性行动以增加机器人辅助手术的自治性。
Jan, 2024
通过使用基于大型语言模型的规划器,我们克服了当前固定技能集的限制,提出了一种用于数据和时间高效教授机器人这些技能的方法,该系统可以重复使用新习得的技能,展示了开放世界和终身学习的潜力。
Sep, 2023
智能机器人是机器人领域的最终目标,本文提出了名为 GExp 的框架,通过自我探索、知识库构建和闭环反馈等模块,使机器人能够自主探索和学习,解决了机器人自主探索各种环境的挑战,并且提供了部署实际机器人系统作为全方位助手的工作流程。
Jan, 2024
在动态操作环境中,特别是在协作机器人中,失败的必然性要求具备强大和适应性的恢复策略。本文提出了一种创新的方法,将恢复行为建模为适应性机器人技能,利用行为树和动作生成器(BTMG)框架进行策略表示。该方法通过采用强化学习(RL)动态优化恢复行为参数,使机器人能够针对各种故障场景作出量身定制的响应,最大程度减少人类干预。通过在一个插孔任务中的一系列逐渐具有挑战性的场景中评估我们的方法,证明了该方法在提高协作机器人设定下的操作效率和任务成功率方面的有效性。我们使用一个双臂 KUKA 机器人对我们的方法进行验证。
Apr, 2024
本文提出了一种基于语言根据分割掩模的新型范例,来应对日常情况下一系列的抓取和放置机器人操作任务,通过将从掩模中传达的精确语义和几何形状与我们的多视点策略模型相结合,使我们的方法能够感知准确的物体姿态并实现样本高效学习。
Jun, 2023
该文呈现了一种用于采矿最新大规模基础模型中的知识的具体想法,其目的是将低级技能学习扩展至规模化,从而实现授予通才机器人的基础模型,并享有在各种现实场景中执行多种任务的能力。
May, 2023
本文提出了一种基于语法的自然语言机器人编程框架,特别用于拾取和放置任务,其方法使用自定义的动作词词典来存储共享意义的单词,通过增加更多的动作词从词汇数据库,轻松扩展词汇量。本文通过模拟和现实世界的实验验证了我们的自然语言机器人编程(NLRP)框架,使用配备了校准相机和麦克风的 Franka Panda 机器人手臂,并将参与者要求使用口头命令完成拾取和放置任务,该任务经由 Google 的语音转文本 API 转换为文本并通过 NLRP 框架处理,以获取机器人的联合空间轨迹,该方法具有高的系统可用性得分,可以轻松扩展字典而不依赖于转移学习或大型数据集,未来我们计划通过综合用户研究比较所述框架与不同人类辅助拾取和放置任务的方法
Apr, 2023