Aug, 2023

ROSGPT_Vision：仅使用语言模型提示来指挥机器人

PDF
TL;DR通过使用语言模型提示，我们提出了新一代机器人可以通过使用机器人模态语言模型（MLM）单独独立地与特定的机器人模态进行通信。一个中央任务模态通过大型语言模型（LLM）中介整个通信过程以执行机器人任务。我们将这种新的机器人设计模式命名为 Prompting Robotic Modalities（PRM），并在一个新的机器人框架 ROSGPT_Vision 中应用了这种 PRM 设计模式。ROSGPT_Vision 通过仅使用两个提示（一个视觉提示和一个 LLM 提示）来执行机器人任务，实现了处理视觉数据、做出明智决策和自动执行操作的能力。
prompting robotic modalitiesrosgpt_visionlanguage modelsrobotic modalitytask modality
发现论文，激发创造
  • 通过预训练和多任务微调掌握多模态机器人操作

    通过引入一个有效的框架，从多任务的专家轨迹中学习使用多模式提示进行机器人操作，我们在 VIMA-BENCH 上评估了方法的功效，并建立了一个新的最先进水平（成功率提高了 10%）。此外，我们还展示了我们的模型具有显著的情境学习能力。

    Oct, 2023

  • 使用大型语言模型生成机器人任务计划

    通过使用编程式的提示结构，可以促使大型语言模型在不同的环境、机器人能力和任务中进行计划生成，从而大大减少了任务规划中需要定义的领域知识。

    Sep, 2022

  • 审慎行事：揭示 GPT-4V 在机器人视觉语言规划中的能量

    我们介绍了一种名为 Robotic Vision-Language Planning (ViLa) 的新方法，该方法结合了视觉 - 语言模型和长期规划，通过直接整合感知数据来生成可行步骤序列，以在广泛的开放世界操纵任务中展示其优势。

    Nov, 2023

  • VIMA: 多模态提示的通用机器人操作

    使用多模态提示设计了一个基于转换器的通用机器人代理 (VIMA)，可以表达多种机器人操作任务，且在新颖的零激励泛化情况下优于先前的状态最优方法。

    Oct, 2022

  • 利用 LLMs 自动化零射视觉识别的元提示

    通过 Meta-Prompting for Visual Recognition (MPVR) 方法，仅凭目标任务的简短自然语言描述和相关类别标签的最小信息输入，自动产生一组多样的类别特定提示，从而实现强大的零样本分类器。在多个不同领域的流行的零样本图像识别基准上，使用多个 LLMs 和 VLMs 测试，MPVR 可以有效地推广，比 CLIP 提高了最高 19.8％和 18.2％（平均 20 个数据集上分别为 5.0％和 4.5％），依赖于 GPT 和 Mixtral LLMs。

    Mar, 2024

  • DKPROMPT：领域知识引导视觉 - 语言模型进行开放世界规划

    本研究提出了一种名为 DKPROMPT 的新型任务规划与执行框架，通过在 PDDL 中使用领域知识自动化 VLM 提示，实现在开放世界中进行经典规划，结果显示 DKPROMPT 在任务完成率方面优于传统规划、纯 VLM 和其他几个竞争基线。

    Jun, 2024

  • 大型语言模型在机器人领域的应用：机遇、挑战与展望

    该研究全面概述了大型语言模型（LLMs）和多模态 LLMs 在各种机器人任务中的整合，并提出了一种利用多模态 GPT-4V 结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明 GPT-4V 有效地提升了机器人在具身任务中的表现。对 LLMs 和多模态 LLMs 在各种机器人任务中的广泛调查和评估丰富了对以 LLMs 为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

    Jan, 2024

  • 语言模型作为零样本轨迹生成器

    大型语言模型（LLMs）已经显示出在机器人方面作为高级规划器的潜力，但通常假设 LLMs 在低级轨迹规划方面不具备足够的知识。本文深入探讨了这个假设，研究了当 LLM（GPT-4）只有对象检测和分割视觉模型的访问权限时，是否可以直接预测操作技能的密集序列的末端执行器姿态。我们研究了一个单一的任务无关提示在 26 个真实世界的基于语言的任务上的表现，比如 “打开瓶盖” 和 “用海绵擦拭盘子”，并调查了这个提示中哪些设计选择是最有效的。我们的结论打破了 LLMs 在机器人领域的假设限制，首次揭示了 LLMs 确实具备在常见任务中理解低级机器人控制的能力，并且它们还可以检测到失败并相应地重新规划轨迹。

    Oct, 2023

  • 实现视觉辅助对话的社交机器人

    本论文提出了一个初步实现的对话管理器，利用最新的大型语言模型（如 GPT-4，IDEFICS）来将视觉能力整合到对话代理中，以增强传统的基于文本的提示与实时视觉输入。该系统的提示工程结合了对图像的对话与摘要，以确保在上下文保留和计算效率之间保持平衡。通过实现这种视觉使能的对话系统，本论文展望了未来，让对话代理无缝地融合文本和视觉模态，实现更丰富、更上下文感知的对话。

    Nov, 2023

  • 用大型语言模型引导机器人行走

    使用自然语言处理模型（LLMs）通过少量样本来实现机器人的动态运动控制，充分展示了机器人领域中大规模预训练模型的潜力。

    Sep, 2023