Mar, 2024

无尽的机器人体感学习

PDF
TL;DR通过大型语言模型，我们研究了在具有高度泛化能力的视觉行为克隆代理中，从视觉观察中进行复杂多模态机器人操作任务。我们提出了 NBCagent，一个语言条件下的持续学习行为克隆代理，在面对一系列具有挑战性的未知任务时，可以不断学习新的机器人操作技能的观察知识。我们设计了一个特定于技能的进化规划器来进行知识解耦，可以将新的技能特定知识不断嵌入到我们的 NBCagent 代理中。同时，我们还提出了一个技能共享的语义渲染模块和技能共享的表示蒸馏模块，有效地在语义和表示方面传递抗遗忘的技能共享知识，进一步解决了旧技能的灾难性遗忘问题。最后，我们设计了一个持续的机器人操作基准，并进行了一些昂贵的实验，证明了我们方法的显著性能。
large language modelsembodied robotsmultimodal robot manipulationnever-ending behavior-cloning agentskill-specific evolving planner
发现论文，激发创造
  • 基于基础模型的人机协同持续机器人学习

    通过使用基于大型语言模型的规划器，我们克服了当前固定技能集的限制，提出了一种用于数据和时间高效教授机器人这些技能的方法，该系统可以重复使用新习得的技能，展示了开放世界和终身学习的潜力。

    Sep, 2023

  • 在线持续学习的交互式指导跟随代理

    本研究探讨了实体代理通过语言指令执行日常任务的学习过程，提出了两种持续学习设置（行为增量学习和环境增量学习），并使用置信度感知滑动平均方法（CAMA）更新过去任务的信息，从而在实证验证中取得比现有方法更好的效果。

    Mar, 2024

  • LLM 作为机器人的大脑：统一自我中心记忆和控制

    本文提出了一个名为 LLM-Brain 的新型机器人控制框架，旨在利用大规模语言模型作为机器人的大脑，统一身体自我感知记忆和控制，并利用多模态语言模型来实现机器人任务的零样本学习。该框架可以通过多轮对话实现感知、规划、控制和记忆等任务，并通过两个下游任务（主动探测和实体问题回答）的实验来验证其有效性。

    Apr, 2023

  • 评估具身代理模型泛化能力的限制：基于验证集

    研究提出了一种使用自然语言引导体现任务完成的模型，使用模块在更广阔的视野范围内学习选择下一步是否需要导航或操作，改进了现有基准数据集 ALFRED 上的表现。但是，最优模型在未见过的测试集分裂上表现不佳，突出了在机器学习任务中性能波动的需要修改基准设计以更好地考虑模型性能差异的需求。

    May, 2022

  • 基于语言知识的家庭活动迁移学习

    此研究旨在通过迁移学习方法以及基于语言模型的状态空间共同嵌入来提高服务机器人从之前学习中寻找相似方法，以解决家庭服务机器人学习新任务精度低的问题。实验结果表明，基于语义相似性从众多源任务中选择相似任务是非常有效的，并且对于避免遗忘问题可以通过更改更新策略来解决。

    Jan, 2023

  • AlphaBlock：机器人操纵中视觉语言推理的具身微调

    提出了一个学习机器人操纵任务高级认知能力的新框架，使用语言模型构建 AlphaBlock 数据集，自动采集综合高级多步文本计划和配对观察序列，使用多模式的闭环计划模型自回归生成计划，从而实现对机器人的精细操作。实验结果表明，该方法显著提高了成功率。

    May, 2023

  • 使用大语言模型模块化地构建合作体验智能体

    论文提出了一种新的基于大型语言模型的多智能体合作框架，在多种身体环境中测试并得到了良好的效果，其具备规划、沟通和与其他人类或智能体合作完成长期任务等能力，并且与人类沟通的模型更容易获得信任，这为未来的智能体合作研究奠定了基础。

    Jul, 2023

  • 通过语言模型进行规划的具身推理

    研究了大型语言模型在具身化场景下的规划能力，通过自然语言反馈的方式，提高对机器人控制场景的理解和指导完成任务的效果。

    Jul, 2022

  • BC-Z：利用机器人模仿学习实现无需先学习任务的泛化

    本文旨在通过模仿学习的角度研究如何通过扩大数据采集并建立交互灵活的学习系统来促进基于视觉的机器人操作系统向新任务的泛化，当扩展真实机器人的数据采集到 100 个不同的任务时，我们发现此系统可以实现 24 个未见过的操作任务，平均成功率为 44%。

    Feb, 2022

  • 连续视觉里程计中遗忘和迁移的实证影响

    研究通过在具体环境中连续训练神经网络来实证调查了灾难性遗忘的影响及知识转移的有效性，重点关注视觉测距任务，并发现在环境特定知识优先的同时导致泛化能力下降，强调了在终身机器人学中平衡适应和记忆保留的挑战。

    Jun, 2024