Jul, 2024

使用视觉 - 语言模型进行四足机器人适应的常识推理

PDF
TL;DR通过利用视觉 - 语言模型（VLM）的通识推理能力，以及 VLM 在上下文适应和多技能规划方面的关键组件，我们提出了 VLM-Predictive Control（VLM-PC）系统，能够帮助双足机器人在处理困难、模糊的情况下做出自适应行为选择，从而使机器人能够在多样复杂的情景中自主感知、导航和行动，而无需环境特定的工程或人类引导。
legged robotslearning methodsvision-language modelsvlm-predictive controlobstacle courses
发现论文，激发创造
  • 审慎行事：揭示 GPT-4V 在机器人视觉语言规划中的能量

    我们介绍了一种名为 Robotic Vision-Language Planning (ViLa) 的新方法，该方法结合了视觉 - 语言模型和长期规划，通过直接整合感知数据来生成可行步骤序列，以在广泛的开放世界操纵任务中展示其优势。

    Nov, 2023

  • 利用大型语言和视觉模型通过程序生成的三维场景表示探索未知环境的机器人

    利用大型语言模型（LLMs）和大型视觉语言模型（LVLMs）的能力，本研究提出了一个综合框架，模仿人类认知以实现对象目标导航问题的解决，通过关注、感知和存储任务特定信息，并生成相应计划。为了有效表示机器人周围的环境，提出使用语义丰富的 3D 场景模块化表示，并引入基于 LLM 的修剪策略以消除无关的目标特定信息。

    Mar, 2024

  • 面向开放世界抓取的大规模视觉语言模型

    通过结合语言模型 (vision-language models)、分割模型和抓取综合模型，提出了一个能够在任何场景中理解、规划和执行物体抓取的开放世界抓取系统 (OWG)，通过视觉提示机制，借助于开放式自由语言的引导实现零样本应用，展示了该系统在杂乱室内场景数据集和仿真环境、硬件实验中相对于以往的有监督和零样本语言模型方法具有优越性能。

    Jun, 2024

  • 大型语言模型在机器人领域的应用：机遇、挑战与展望

    该研究全面概述了大型语言模型（LLMs）和多模态 LLMs 在各种机器人任务中的整合，并提出了一种利用多模态 GPT-4V 结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明 GPT-4V 有效地提升了机器人在具身任务中的表现。对 LLMs 和多模态 LLMs 在各种机器人任务中的广泛调查和评估丰富了对以 LLMs 为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

    Jan, 2024

  • 与环境对话：使用大型语言模型进行交互式多模态感知

    在机器人的交互感知中，使用预先训练的大型语言模型（LLMs）作为交互感知框架，并将其应用于决策问题以及规划多模态环境中的任务执行，这样可以通过感知来指导认知行为和高层次的决策规划，这种方法可以显著提高任务完成的准确性和效率。

    Mar, 2023

  • 学习四足动物在复杂地形上的步态

    本研究基于神经网络的方法实现对四足动物的运动控制，采用自主提供的本体感觉信息，具有很强的普适性和鲁棒性，在模拟和自然环境中都有良好的表现，并在本次试验中优于以往的四足动物机器人，对未来的机器人研究具有大量的实践价值。

    Oct, 2020

  • 告诉我你在哪里：多模态 LLMs 相遇地点识别

    使用多模态大语言模型 (MLLMs) 来进行视觉地点识别，结合视觉观测和语言推理，借助视觉特征和 MLLMs 的推理能力，提供有效的地点识别解决方案。

    Jun, 2024

  • 关于在机器人中部署 LLMs/VLMs 的安全问题：凸显风险和脆弱性

    通过检查最近在大型语言模型（LLMs）和视觉语言模型（VLMs）与机器人技术交叉领域的工作，我们展示了将大型语言模型和视觉语言模型整合到机器人应用中所涉及的稳健性和安全性的关键问题。我们定义并提供了几种可能的对抗性攻击的例子，并在三个重要的机器人框架上进行了实验，这些机器人框架集成了一个语言模型，包括 KnowNo VIMA 和 Instruct2Act，以评估它们对这些攻击的易感性。我们的实证研究结果显示出 LLM/VLM-robot 集成系统的一个显著的脆弱性：简单的对抗性攻击可以显著削弱 LLM/VLM-robot 集成系统的有效性。特别是，在提示性攻击下，我们的数据显示出了平均性能下降 21.2％，而在感知攻击下更为严重，达到 30.2％。这些结果强调了确保部署先进的 LLM/VLM 基础机器人系统的安全性和可靠性的关键需求。

    Feb, 2024

  • 物理基础的视觉语言模型用于机器人操作

    通过在 36.9K 个常见家居物体的数据集 PhysObjects 上针对视觉外观捕捉人类先验知识，我们提出了一种基于物理概念的视觉语言模型（VLM），并将其与基于大语言模型的机器人规划器结合使用，取得了在涉及与物理物体概念推理相关的任务中相比不使用物理概念的基线模型实现了改进的规划性能的结果。此外，在真实机器人上展示了物理概念视觉语言模型的好处，提高了任务成功率。

    Sep, 2023

  • RT-2：视觉 - 语言 - 行动模型将网络知识转化为机器人控制

    通过在互联网规模的数据上训练视觉语言模型，将其直接融入端到端的机器人控制中，提高泛化能力和实现新兴的语义推理。我们提出了一种简单通用的方法，在模型训练集中直接将行动表现为文本标记，将自然语言回答和机器人行动合并到同一个格式中，从而实现了单一端到端训练模型的目标。我们将这类模型称为视觉语言行动模型（VLA），并以 RT-2 为例进行了实例化。广泛的评估结果表明，我们的方法可以得到性能优越的机器人策略，并使 RT-2 在互联网规模的训练中获得一系列新兴能力。这包括对新对象的显著改进的泛化能力，解释不在机器人训练数据中的命令（比如将物体放在特定的编号或图标上）的能力，以及对用户指令做出初步推理的能力（比如选择最小或最大的物体，或者离另一个物体最近的物体）。我们进一步说明了通过思维链式推理，RT-2 可以进行多阶段的语义推理，例如找到作为非正式锤子使用的物体（一块石头），或者适合疲劳人群的饮料类型（一种能量饮料）。

    Jul, 2023