Mar, 2023

与环境对话：使用大型语言模型进行交互式多模态感知

PDF
TL;DR在机器人的交互感知中，使用预先训练的大型语言模型（LLMs）作为交互感知框架，并将其应用于决策问题以及规划多模态环境中的任务执行，这样可以通过感知来指导认知行为和高层次的决策规划，这种方法可以显著提高任务完成的准确性和效率。
roboticslarge language modelsmultimodal perceptionepistemic actionstask planning
发现论文，激发创造
  • 大型语言模型在机器人领域的应用：机遇、挑战与展望

    该研究全面概述了大型语言模型（LLMs）和多模态 LLMs 在各种机器人任务中的整合，并提出了一种利用多模态 GPT-4V 结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明 GPT-4V 有效地提升了机器人在具身任务中的表现。对 LLMs 和多模态 LLMs 在各种机器人任务中的广泛调查和评估丰富了对以 LLMs 为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

    Jan, 2024

  • 部分可观察机器人任务的大型语言模型交互规划

    使用大型语言模型（LLMs）的互动规划技术，通过机器人收集环境中缺失的信息并推断底层问题的状态，从而指导机器人执行所需的动作。

    Dec, 2023

  • 大规模语言模型在机器人学中的应用：一项调查

    理解和评估机器人的灵活智能是一项复杂的任务，该综述回顾了大型语言模型在机器人领域的应用和对机器人控制、感知、决策制定和路径规划等关键领域的贡献，以及它们面临的潜在挑战。

    Nov, 2023

  • MMRo: 多模式 LLM 是否适合作为家用机器人的大脑？

    评估多模态大型语言模型在机器人应用中的能力和可靠性，提出了第一个多模态 LLM for Robotic（MMRo）基准测试，并从感知、任务规划、视觉推理和安全度量等四个关键能力角度对现有模型的性能进行了实验评估，结果表明目前的模型还不足以信任其作为机器人的认知核心。

    Jun, 2024

  • 通过语言模型进行规划的具身推理

    研究了大型语言模型在具身化场景下的规划能力，通过自然语言反馈的方式，提高对机器人控制场景的理解和指导完成任务的效果。

    Jul, 2022

  • 学习多模态环境中物理动作的影响

    通过加入图像和文本等多种形式的感官信息以及使用对象的潜在表示对 LLM 进行扩展，以更好地预测动作结果，进而推广并学习物理常识推理。

    Jan, 2023

  • RoboLLM: 基于多模态大型语言模型的机器人视觉任务

    通过利用多模态大语言模型（MLLMs）的预训练能力，我们介绍了 RoboLLM 框架以应对 ARMBench 挑战中的视觉感知任务，在实际仓库场景下的大规模机器人操作数据集中，RoboLLM 不仅优于现有基线方法，还大幅减少了模型选择和调优的工作量。

    Oct, 2023

  • 用大型语言模型引导机器人行走

    使用自然语言处理模型（LLMs）通过少量样本来实现机器人的动态运动控制，充分展示了机器人领域中大规模预训练模型的潜力。

    Sep, 2023

  • 基于大型语言模型的不确定性分析和主动问询的交互式机器人动作规划

    通过提出交互式机器人行动规划方法，利用大型语言模型（LLM）进行分析并向人类提问以获取缺失信息，以减少生成精确机器人指令的设计成本，并通过烹饪任务的具体示例证明了方法的有效性，同时揭示了对 LLM 的机器人行动规划的挑战，如提问与问题相关性不高以及未经询问而假设关键信息，为将 LLM 应用于机器人学方面的未来研究提供了有价值的见解。

    Aug, 2023

  • 利用大型语言和视觉模型通过程序生成的三维场景表示探索未知环境的机器人

    利用大型语言模型（LLMs）和大型视觉语言模型（LVLMs）的能力，本研究提出了一个综合框架，模仿人类认知以实现对象目标导航问题的解决，通过关注、感知和存储任务特定信息，并生成相应计划。为了有效表示机器人周围的环境，提出使用语义丰富的 3D 场景模块化表示，并引入基于 LLM 的修剪策略以消除无关的目标特定信息。

    Mar, 2024