Jun, 2024

信赖 PRoC3S：使用 LLMs 和约束满足解决长时程机器人问题

PDF
TL;DR通过预训练的大型语言模型（LLM）在机器人学中的应用，探讨了 LLM 规划连续参数化技能集合的能力，以避免违反一系列运动学、几何学和物理学约束条件，通过采样或优化来解决连续约束满足问题，并通过实验验证了提出的 PRoC3S 策略在解决复杂操作任务时比现有基线方法更高效和更有效。
发现论文，激发创造
  • Plan-Seq-Learn: 语言模型引导强化学习解决长时程机器人任务

    利用大型语言模型（LLMs）和运动规划，提出了一种模块化方法 Plan-Seq-Learn（PSL），将抽象语言和学习到的低级控制相结合，从头开始解决长期目标的机器人任务，并在超过 25 个具有挑战性的机器人任务中取得了最先进的结果。

    May, 2024

  • 机器技能综合的语言到奖励转换

    本文提出了一种新颖的方法，即通过利用大型语言模型 (LLMs) 定义奖励参数，从而优化和实现各种机器人任务，并结合实时优化器 MuJoCo MPC，使用户可以交互地创造行为并快速获得结果反馈。作者在一个模拟仿真机器人四足动物和一种机械手进行了 17 个任务的评价，证明了这种方法成功解决了 90% 的任务，并在真实机器人手臂上验证了方法的有效性，包括非握持推动等复杂操作技能。

    Jun, 2023

  • 超越 LLMs：复杂推理领域的发展

    通过神经符号化的方法，本研究使用大型语言模型进行知识获取和用户交互，搭建了 Elemental Cognition 人工智能平台，该平台在处理约束满足和优化问题方面优于传统的大型语言模型，拥有更高的有效性和性能。

    Feb, 2024

  • 基于基础模型的人机协同持续机器人学习

    通过使用基于大型语言模型的规划器，我们克服了当前固定技能集的限制，提出了一种用于数据和时间高效教授机器人这些技能的方法，该系统可以重复使用新习得的技能，展示了开放世界和终身学习的潜力。

    Sep, 2023

  • 通过人机协作增强基于 LLM 的机器人操控

    通过人机协作的方式，本文提出了一种增强基于大型语言模型的自主操作的方法，并应用于机器人的高级语言指令解析、运动规划和理解环境。在与人类的互动过程中，通过结合远程操作和动态运动原理实现机器人从人类引导中学习。通过实验表明，在复杂轨迹规划和环境推理方面，基于大型语言模型的机器人通过融入人类示范可以高效地完成任务。

    Jun, 2024

  • CoPAL: 机器人动作的修正规划与大型语言模型

    在全面自主的机器人系统领域，本研究通过提出系统架构来解决复杂开放世界环境中任务与动作规划的挑战，核心是处理生成计划中的物理、逻辑和语义错误的重规划策略。通过在仿真和两个复杂的现实场景中进行实证评估，我们展示了所提出的反馈架构对可执行性、正确性和时间复杂性的有效性。

    Oct, 2023

  • GenCHiP: 高精度和接触丰富的操作任务的生成机器人策略代码

    基于大型语言模型（LLMs）的研究表明，通过合适的动作空间重新参数化，包括遵守与交互力和刚度相关的约束条件，能够成功地生成用于接触丰富和高精度操纵任务的策略，即使在噪声条件下也有效。

    Apr, 2024

  • 安全芯片插入：强制 LLM 驱动的机器人代理遵守限制

    利用大型语言模型（LLM）所提供的世界知识和普遍推理能力，我们提出了一种基于线性时态逻辑（LTL）的可查询安全约束模块，用于在协作环境中部署 LLM 代理，并通过自然语言到时态约束编码、安全违规推理、不安全行为修剪等功能，实现了显式指示禁止行为、评估机器人对限制的理解，并确保其合规性。实验证明我们的系统可以严格遵守安全约束并能很好地适用于复杂的安全约束，具备实际应用潜力。

    Sep, 2023

  • CLMASP：将大型语言模型与答题集编程结合用于机器人任务规划

    使用 CLMASP 方法，通过结合大型语言模型 (LLMs) 和 Answer Set Programming (ASP) 的能力，能够生成可在具体机器人情境中执行的规划方案，大幅度提高了可执行率。

    Jun, 2024

  • 基于 LLM 的人机协作框架用于操作任务

    该论文介绍了一种利用大型语言模型（LLM）进行自主机器人操纵的新方法，通过逻辑推理将高层语言命令转化为可执行的运动函数序列。所提出的系统将 LLM 的优势与基于 YOLO 的环境感知相结合，使机器人能够根据给定的命令自主做出合理的决策和任务规划。此外，为了解决 LLM 可能出现的不准确性或不合逻辑的行为，采用了远程操作和动态运动原理（DMP）的组合进行行为校正。这种融合旨在提高 LLM 基础的人机协作系统的实用性和通用性。

    Aug, 2023