Sep, 2024

AlignBot：通过微调对齐 VLM 驱动的定制任务规划与用户提醒的家庭机器人

HTML
PDF
TL;DR本文提出了一种新框架 AlignBot，旨在优化家庭机器人与用户提醒的对齐，通过微调实现定制任务规划。AlignBot 采用 LLaVA-7B 模型作为 GPT-4o 的适配器，能够将多样化的用户提醒转化为结构化指令，显著提升任务规划准确性，实验证明其成功率达到 86.8%，相比于传统方法提升了 65%。
发现论文，激发创造
  • 将机器人的表示与人类对齐

    研究了如何将在一个环境中学到的知识传递到另一个环境中的关键问题，并通过学习人类期望机器人执行哪些任务的中间表示方法，来提高机器人学习效率，从而为人类与机器人的互动打下基础。

    May, 2022

  • 使用大型语言模型生成机器人任务计划

    通过使用编程式的提示结构，可以促使大型语言模型在不同的环境、机器人能力和任务中进行计划生成，从而大大减少了任务规划中需要定义的领域知识。

    Sep, 2022

  • 人机互动和人人机互动中词汇对齐与可教导机器人的比较

    通过基于数据驱动的共享表达概念的对齐度量，比较了一对一的人机互动和协作的人机人互动，发现与可教授机器人的语言对齐在一对一的人机互动场景中比协作的人机人互动场景中更为突出，同时文中还指出了语言对齐和人际关系之间的关系更加复杂。

    Sep, 2022

  • TidyBot：基于大型语言模型的个性化机器人助手

    本研究着眼于探究如何通过先前与特定人的互动，从少量样例中学习用户偏好以个性化地协助家务清理，并通过大型语言模型（LLM）的 few-shot summarization 能力进行推断，融合基于语言的计划和感知，以便在未来的交互中普遍适用。

    May, 2023

  • 寻求帮助的机器人：面向大型语言模型规划器的不确定性对齐

    该论文介绍了一种针对大型语言模型的不确定性测量和调整的框架，使用收敛性预测理论提供任务完成的统计保证，同时在复杂的多步计划设置中最小化人类干预，为机器人增加了有效性和自主性，并建议一种轻量级的不确定性建模方法，以补充和扩展基础模型的不断增长的能力。

    Jul, 2023

  • 大型语言模型与创造性机器人工具使用

    本研究论文通过利用大型语言模型构建了一个名为RoboTool的系统，通过接受自然语言指令并输出可执行的机器人控制代码，实现了机器人在包含隐含物理约束和长期规划的任务中的创造性使用工具的能力。通过广泛的实验验证，RoboTool在处理否则无法完成的任务方面表现出了熟练的水平，从而扩展了机器人系统的能力。

    Oct, 2023

  • RoboGPT：为日常指令任务做出智能长期决策的智能代理

    在这篇研究论文中，我们提出了一种名为RoboGPT的机器人代理，通过两个模块（基于LLMs的规划与重新规划，以及专为子目标设计的RoboSkill）来完成日常任务的具体决策。我们使用了一份新的机器人数据集和RoboGPT来增强基于LLMs的规划，并成功在诸多任务中超越了目前的最先进方法。

    Nov, 2023

  • 大型语言模型在机器人领域的应用：机遇、挑战与展望

    该研究全面概述了大型语言模型（LLMs）和多模态LLMs在各种机器人任务中的整合，并提出了一种利用多模态GPT-4V结合自然语言指令和机器人视觉感知增强具身任务规划的框架。基于多样化的数据集，我们的结果表明GPT-4V有效地提升了机器人在具身任务中的表现。对LLMs和多模态LLMs在各种机器人任务中的广泛调查和评估丰富了对以LLMs为中心的具身智能的理解，并提供了展望未来的关于人机环境交互的见解。

    Jan, 2024

  • 基于置信度预测的语言指导多机器人系统的安全任务规划

    这篇论文研究了对语言指导的机器人团队的任务规划问题，通过使用大型语言模型（LLMs）和基于分散式的LLM规划器来提高任务成功率，并采用符合预测（CP）方法来量化分布式不确定性，使机器人能够在任务中根据自身的不确定性作出决策。

    Feb, 2024

  • LLM-Personalize: 通过强化自我训练使LLM规划器与人类偏好保持一致的家务机器人

    通过优化流程，个性化LLM规划器以适应个体用户偏好，大幅提高与人类偏好的一致性。

    Apr, 2024