Dec, 2023

LLM A*：人在循环大型语言模型启用的 A * 搜索用于机器人技术

PDF
TL;DR研究聚焦于大型语言模型如何以人机交互的方式帮助移动体代理（如机器人）的路径规划。提出了名为 LLM A * 的创新框架，旨在利用 LLM 的常识，采用效用最优的 A * 算法来实现少样本近最优路径规划。通过引导 LLM 以求解 ` 白盒 ' 的路径规划过程，并将人类反馈作为引导，相较于基于强化学习的规划方法，如 RL，使得无需编码的路径规划变得实用，并且推广了人工智能技术的包容性。与 A * 和 RL 的对比分析表明，LLM A * 在搜索空间方面更高效，能达到与 A * 相当的路径并优于 RL。LLM A * 的交互性还使其成为协作人机任务部署中具有潜力的工具。
发现论文，激发创造
  • 部分可观察机器人任务的大型语言模型交互规划

    使用大型语言模型（LLMs）的互动规划技术，通过机器人收集环境中缺失的信息并推断底层问题的状态，从而指导机器人执行所需的动作。

    Dec, 2023

  • SRLM：基于大型语言模型和深度强化学习的人机交互社交机器人导航

    我们提出了一种新的混合方法，称为社交机器人规划器 (SRLM)，它将大型语言模型 (LLM) 和深度强化学习 (DRL) 相结合，以在人满为患的公共场所为人们提供多种社交服务。SRLM 通过实时人类指令推断全局规划，并将社交信息编码到基于 LLM 的大型导航模型 (LNM) 中进行低层运动执行。此外，设计了一种基于 DRL 的规划器来保持基准性能，通过大型反馈模型 (LFM) 与 LNM 融合，以解决当前文本和 LLM 驱动的 LNM 的不稳定性。最后，SRLM 在广泛的实验证明表现出色。

    Mar, 2024

  • 大规模语言模型在机器人学中的应用：一项调查

    理解和评估机器人的灵活智能是一项复杂的任务，该综述回顾了大型语言模型在机器人领域的应用和对机器人控制、感知、决策制定和路径规划等关键领域的贡献，以及它们面临的潜在挑战。

    Nov, 2023

  • 基于 LLM 的人机协作框架用于操作任务

    该论文介绍了一种利用大型语言模型（LLM）进行自主机器人操纵的新方法，通过逻辑推理将高层语言命令转化为可执行的运动函数序列。所提出的系统将 LLM 的优势与基于 YOLO 的环境感知相结合，使机器人能够根据给定的命令自主做出合理的决策和任务规划。此外，为了解决 LLM 可能出现的不准确性或不合逻辑的行为，采用了远程操作和动态运动原理（DMP）的组合进行行为校正。这种融合旨在提高 LLM 基础的人机协作系统的实用性和通用性。

    Aug, 2023

  • 通过大型语言模型探索自主代理：一项综述

    大型语言模型（LLMs）正在改变人工智能，使得自主代理能够在不同领域执行多样化任务。这些代理具备类似人类的文本理解和生成能力，有望在从客户服务到医疗保健等各个领域引发革命。然而，它们面临着诸如多模态、人类价值取向、幻觉和评估等挑战。推动、推理、工具利用和上下文学习等技术正在被探索，以增强它们的功能。像 AgentBench、WebArena 和 ToolLLM 这样的评估平台为在复杂场景中评估这些代理提供了强大的方法。这些进展正在引领更加有韧性和能力的自主代理的发展，预计它们将成为我们数字生活中不可或缺的一部分，协助我们完成从邮件回复到疾病诊断等任务。拥有 LLMs 带头的人工智能的未来充满了希望。

    Apr, 2024

  • 用大型语言模型引导机器人行走

    使用自然语言处理模型（LLMs）通过少量样本来实现机器人的动态运动控制，充分展示了机器人领域中大规模预训练模型的潜力。

    Sep, 2023

  • 基于大型语言模型的不确定性分析和主动问询的交互式机器人动作规划

    通过提出交互式机器人行动规划方法，利用大型语言模型（LLM）进行分析并向人类提问以获取缺失信息，以减少生成精确机器人指令的设计成本，并通过烹饪任务的具体示例证明了方法的有效性，同时揭示了对 LLM 的机器人行动规划的挑战，如提问与问题相关性不高以及未经询问而假设关键信息，为将 LLM 应用于机器人学方面的未来研究提供了有价值的见解。

    Aug, 2023

  • 通过强化学习实现算法代理和 LLM 之间的高效交互

    本文主要介绍了使用基于强化学习的调解模型，来解决使用大型语言模型进行高级指令的效率和成本问题，并在四种实验环境下验证了该方法的准确性和效率。

    Jun, 2023

  • 作为零样本人类模型的大型语言模型用于人机交互

    本文探索了使用大型语言模型作为 HRI 的 0 模型的潜力，并在三个社交数据集上进行了实验，结果显示 LLMs 能够实现与定制模型相当的性能，同时还讨论了当前的限制。基于我们的发现，我们展示了 LLM 人类模型如何集成到社交机器人的规划过程中并应用于 HRI 场景。我们的结果表明 LLMs 为 HRI 的人类建模提供了一种有前途但不完整的方法。

    Mar, 2023

  • 基于基础模型的人机协同持续机器人学习

    通过使用基于大型语言模型的规划器，我们克服了当前固定技能集的限制，提出了一种用于数据和时间高效教授机器人这些技能的方法，该系统可以重复使用新习得的技能，展示了开放世界和终身学习的潜力。

    Sep, 2023