May, 2023

TidyBot：基于大型语言模型的个性化机器人助手

PDF
TL;DR本研究着眼于探究如何通过先前与特定人的互动，从少量样例中学习用户偏好以个性化地协助家务清理，并通过大型语言模型（LLM）的 few-shot summarization 能力进行推断，融合基于语言的计划和感知，以便在未来的交互中普遍适用。
发现论文，激发创造
  • LLM-Personalize: 通过强化自我训练使 LLM 规划器与人类偏好保持一致的家务机器人

    通过优化流程，个性化 LLM 规划器以适应个体用户偏好，大幅提高与人类偏好的一致性。

    Apr, 2024

  • 基于语言知识的家庭活动迁移学习

    此研究旨在通过迁移学习方法以及基于语言模型的状态空间共同嵌入来提高服务机器人从之前学习中寻找相似方法，以解决家庭服务机器人学习新任务精度低的问题。实验结果表明，基于语义相似性从众多源任务中选择相似任务是非常有效的，并且对于避免遗忘问题可以通过更改更新策略来解决。

    Jan, 2023

  • 如何整理桌子：将视觉和语义常识推理与模糊目标的机器人任务融合

    通过使用大型语言模型（LLMs）以及图像分数函数来解决具有模糊目标的机器人任务中的一个示例任务 —— 整理桌子的问题。

    Jul, 2023

  • Transformer 是可适应的任务规划器

    该文章提出了一种建立在物体属性表示基础上的 Transformer 任务规划器 (TTP)，可从多个偏好中进行预训练，并可以使用单个演示作为提示在模拟洗碗机任务中展现出对未见过偏好的泛化能力，在实际任务中使用 Franka Panda 机械臂完成了盘子重新摆放任务。

    Jul, 2022

  • 上下文感知的杂货提醒家庭机器人

    本研究介绍了一种计算架构，结合了感知学习算法、记忆编码和学习的认知模型、预测缺失物品的推理模块和图形用户界面，并与 Fetch 移动机器人集成验证，以通过与用户的互动学习个性化上下文知识及长期预测家庭中缺失的物品。实验结果表明，机器人可以通过与用户的互动适应环境，还可以使用所学的知识在数周内正确预测缺失物品，并且对感官和感知错误具有强健性。

    Jul, 2022

  • WALL-E：具身化机器人服务员的大型语言模型货物搬运

    本文主要研究了将最近的大型语言模型（LLMs）与现有的视觉定位和机器抓取系统集成，以提高人机交互的有效性，在物理机器人上部署了以 LLM 为基础的系统，为指导抓取任务提供了更加用户友好的界面，并在各种实际场景中进行了进一步的实验，证明了我们提出的框架的可行性和有效性。

    Aug, 2023

  • 整理机器人：一种基于 Transformer 的方法来整理凌乱的桌面

    本研究提出了一种方法，使家用机器人能够执行简单的家务整理任务，重点关注于 ' 整齐摆放 '，这是一种将散乱物品整理成整洁且占用空间小的排列方式的活动。我们从自然语言处理（NLP）中获得灵感，并采用了基于 Transformer 的方法，预测一系列整齐摆放物品中下一个物品的位置。我们将整齐摆放模型与视觉感知模型和物理机械臂集成，展示了一种能够整理和组织各种形状和大小的十几个自由形式物品的机器。

    Oct, 2023

  • 2020 世界机器人挑战赛伙伴机器人：基于数据驱动的移动机器人整理房间方法

    采用数据驱动的方法，利用移动机器人完成家庭环境中的整理任务，并在 2020 年世界机器人挑战赛中获得第二名。核心技术包括移动机器人、视觉识别、物体操作和运动规划。

    Jul, 2022

  • 学习虚拟机器人历史行为概括与问答

    通过自然语言处理，机器学习研究了通过视频和提示对机器人过去动作进行总结和问题回答，并开发了自动生成问题与答案的方法。将总结和问题回答集成于单一系统，通过零 - shot 迁移学习来提高动作总结的准确性。

    Jun, 2023

  • 朝向基于场景的社交推理

    文章提出了一种使用大型语言模型和视觉语言模型来帮助机器人主动感知环境，执行基于社会情境的推理的方法，并通过发布 MessySurfaces 数据集评估了该框架，发现使用了主动感知的基线平均提高了 12.9％，机器人实验的平均提高了 15％。

    Jun, 2023