Jan, 2023

通过共享自主权进行机器人操作的在线语言纠正 ——“不，往右边

PDF
TL;DR本论文提出了一种基于语言纠正的潜在行为框架（LILAC），旨在解决当前指令跟随机器人缺乏适应性和学习效率低的问题，通过在执行过程中在线纳入和适应自然语言纠正（“向右”，或 “不，向书”），从而实现对丰富的操纵领域的探索和高精度的操作，提高了任务完成率和用户体验。
language-informed latent actions with correctionshuman-robot interactionnatural languageadaptivitylearning efficiency
发现论文，激发创造
  • 基于视觉语言模型的指令增强机器人技能习得

    本论文介绍了一种名为 DIAL 的方法，利用半监督的语言标签，结合 CLIP 的语义理解，将知识传播到大型未标记的数据集中，并在增强的数据集上训练语言条件下的策略，从而使模仿学习策略获得新的能力并推广到原始数据集中未见过的 60 个新指令。

    Nov, 2022

  • 交互式机器人从口头纠正学习

    我们设计了一种基于大型语言模型 (LLM) 的学习系统 OLAF，使得普通用户可以通过语音纠正教导机器人，从而更新机器人的视觉运动神经策略，以避免未来重复错误，并在实验中展示了在长期任务执行中的成功率平均提高了 20.0%。

    Oct, 2023

  • 通过语言修正提炼和检索机器人操作的泛化知识

    通过 Distillation and Retrieval of Online Corrections (DROC) 这个基于大型语言模型（LLM）的系统，我们展示了一种能够回应任意形式的语言反馈、从纠正中提取通用知识以及基于文本和视觉相似性检索相关的先前经验来提高在新环境中表现的方法。DROC 能够回应一系列在线语言纠正，解决高级任务计划和低级技能元素的失败，并证明在新的任务或对象实例中，DROC 能够有效地提取在线纠正序列中的相关信息并检索该知识。与直接生成机器人代码的 LLM 相比，DROC 只需要一半的纠正次数，并且在两轮迭代后几乎不需要纠正，从而提升了性能。

    Nov, 2023

  • 喊叫您的机器人：从语言纠正中实时改进

    通过语言反馈不断改进高层策略，使机器人在复杂的、需要长程规划的任务中表现得更加出色，无需额外的远程操作。

    Mar, 2024

  • 用自然语言反馈纠正机器人计划

    本文探讨了将自然语言应用于机器人校正的方式，阐述了从自然语言句子到代价函数变换的映射方法，以及该方法如何通过多种方式对机器人进行校正，进而解决规划任务失败的问题，该方法已在模拟环境和真实环境中得到了验证。

    Apr, 2022

  • 语言条件下的机器人操作任务模仿学习

    这篇研究论文介绍了一种将自然语言引入模仿学习中的方法，可以让专家在提供动作演示的同时，提供自然语言的描述。通过融合语言、知觉和动作的关系，实现了更加精细的控制，降低了场景的模糊度。在七自由度机械臂控制任务上的模拟实验表明，此方法可有效学习自然语言条件下的机器人操作策略，并与其他方法相比做出了明显改进。

    Oct, 2020

  • 利用大型语言模型的反馈加速机器人操控的强化学习

    通过利用大型语言模型的及时反馈，Lafite-RL（语言代理反馈互动式强化学习）框架使强化学习智能体能够有效地学习机器人任务，实验结果表明，Lafite-RL 智能体在自然语言的简单提示设计下，通过大型语言模型的引导在学习效率和成功率方面优于基准模型，凸显了大型语言模型所提供的奖励的功效。

    Nov, 2023

  • AIC MLLM: 自主交互修正多重学习模型用于鲁棒机器人操作

    利用多模态大型语言模型（MLLMs）通过前期低层互动经验提示来纠正自主交互修正机器人系统中的姿态预测，实验结果表明我们的 AIC MLLM 可以通过与交互经验提示来高效纠正失效样本。

    Jun, 2024

  • 自我校正的多模态大型语言模型用于端到端机器人操作

    自我修正的大型语言模型 (SC-MLLM) 在机器人操作中表现出色，通过自动检测和纠正失败动作，提高了操作准确性。

    May, 2024

  • 实时对话机器人的交互语言

    该研究提出了一个框架，用于在现实世界中建立交互式、实时的、自然语言指导的机器人，并开源相关资产 (数据集、环境、基准和策略)。

    Oct, 2022