Jun, 2023

REFLECT: 汇总机器人经验以解释与纠正故障

PDF
TL;DR提出了一种基于 LLM（Large Language Models）的框架 REFLECT，将多感官数据转换为机器人过去经历的分层总结，并使用递进的故障解释算法查询 LLM。该框架能够生成信息丰富的故障解释，辅助成功的纠错计划。
robotic systemlarge language modelsreflectfailure explanation algorithmrobofail dataset
发现论文，激发创造
  • 基于基础模型的人机协同持续机器人学习

    通过使用基于大型语言模型的规划器，我们克服了当前固定技能集的限制，提出了一种用于数据和时间高效教授机器人这些技能的方法，该系统可以重复使用新习得的技能，展示了开放世界和终身学习的潜力。

    Sep, 2023

  • ROS-LLM: 具备任务反馈和结构化推理的 ROS 框架

    通过自然语言提示和来自机器人操作系统（ROS）的上下文信息，我们提出了一个直观的非专业人士机器人编程框架。该框架集成了大型语言模型（LLMs），使非专业人士能够通过聊天界面向系统表达任务要求。它具有与 ROS 集成的 AI 代理与大量开源和商用 LLMs 的连接、从 LLM 输出中提取行为和执行 ROS 动作 / 服务的自动化提取、支持三种行为模式（顺序、行为树、状态机）、模仿学习以将新的机器人行为添加到可能的动作库中以及通过人类和环境反馈实现 LLM 反思的功能。大量实验证实了该框架在各种场景（包括长时间视野任务、桌面重新排列和远程监督控制）中的鲁棒性、可扩展性和多功能性。为了促进我们框架的使用和支持我们结果的可复制性，我们已经将我们的代码开源。您可以在以下网址访问：this https URL

    Jun, 2024

  • 为什么失败了？一种因果推理方法寻找机器人失败的解释

    本文提出了一种新方法以解决机器人失败后向用户提供直观的因果解释，其利用生成对比性解释的方式，基于来自贝叶斯网络的因果模型，并在两个场景中测试了其准确性。

    Apr, 2022

  • 用大型语言模型引导机器人行走

    使用自然语言处理模型（LLMs）通过少量样本来实现机器人的动态运动控制，充分展示了机器人领域中大规模预训练模型的潜力。

    Sep, 2023

  • Recover: 故障检测与恢复的神经符号框架

    通过集成本体论、逻辑规则和基于大型语言模型的规划器，本文介绍了一种用于在线失败识别和恢复的神经符号框架。实验评估表明，OntoThor 的逻辑规则能准确检测出所有分析任务中的故障，并且在故障检测和恢复方面，Recover 明显优于仅依赖于大型语言模型的基准方法。

    Mar, 2024

  • 自省计划：引导语言能力代理改进自身的不确定性

    通过引入内省计划的概念，该论文探讨了使用无需微调的系统化方法来引导大型语言模型进行感知不确定性的规划，以此改进机器人任务执行的成功率和安全性。并且研究了结合符合预测方法的内省计划的有效性，结果显示此组合可以提供更紧密的置信区间，在减少用户澄清查询的同时保持统计成功保证。

    Feb, 2024

  • 交互式机器人从口头纠正学习

    我们设计了一种基于大型语言模型 (LLM) 的学习系统 OLAF，使得普通用户可以通过语音纠正教导机器人，从而更新机器人的视觉运动神经策略，以避免未来重复错误，并在实验中展示了在长期任务执行中的成功率平均提高了 20.0%。

    Oct, 2023

  • 自我校正的多模态大型语言模型用于端到端机器人操作

    自我修正的大型语言模型 (SC-MLLM) 在机器人操作中表现出色，通过自动检测和纠正失败动作，提高了操作准确性。

    May, 2024

  • 闭环 LLM 规划器的基于不确定性的故障检测评估

    通过引入一个名为 KnowLoop 的基于不确定性的 MLLMs 故障检测器支持的闭环 LLM-based planning 框架，我们试图减轻 LLM-based planning 的开放环路问题，进而提高任务的成功率。

    Jun, 2024

  • 通过代理分析提高机器人任务学习中从 LLMs 提取知识的能力

    介绍了通过内置的自主机器人来扩大 LLM 响应的空间，根据语言能力、身体实体、环境和用户喜好挑选、修补、选择 LLM 提供的响应，从而使机器人能够完成 75% 以上的任务一次学习并显著减少需要人工监督的程度。

    Jun, 2023