交互式机器人从口头纠正学习
通过使用基于大型语言模型的规划器,我们克服了当前固定技能集的限制,提出了一种用于数据和时间高效教授机器人这些技能的方法,该系统可以重复使用新习得的技能,展示了开放世界和终身学习的潜力。
Sep, 2023
通过利用大型语言模型的及时反馈,Lafite-RL(语言代理反馈互动式强化学习)框架使强化学习智能体能够有效地学习机器人任务,实验结果表明,Lafite-RL 智能体在自然语言的简单提示设计下,通过大型语言模型的引导在学习效率和成功率方面优于基准模型,凸显了大型语言模型所提供的奖励的功效。
Nov, 2023
LLaRA: 大型语言和机器人助理是一个框架,将机器人动作策略定义为对话,并在训练中通过辅助数据提供改进的响应;通过将视觉输入与文本提示进行处理,能够生成最优策略决策。
Jun, 2024
本论文提出了一种基于语言纠正的潜在行为框架(LILAC),旨在解决当前指令跟随机器人缺乏适应性和学习效率低的问题,通过在执行过程中在线纳入和适应自然语言纠正(“向右”,或 “不,向书”),从而实现对丰富的操纵领域的探索和高精度的操作,提高了任务完成率和用户体验。
Jan, 2023
通过结合大规模语言模型作为语音界面,我们提出了一个框架,用于将大规模语言模型应用于物理辅助机器人,以实现高水平任务规划和代码生成,并通过实证研究为物理辅助机器人的语音界面设计提供指导。
Apr, 2024
通过将大型语言模型(LLMs)整合到社交机器人中,本研究旨在解决传统基于脚本互动的对话方法在维持有趣的对话方面存在的局限性。我们引入了一个完全自动化的对话系统,利用 LLMs 生成具有有表情的机器人回应,与机器人的个性一致。我们结合两种模式的机器人行为:1)具有多种表现风格的文本转语音(TTS)引擎,和 2)用于机器人的动作库。我们开发了一个定制的最先进的情感识别模型,用于动态选择机器人的语调,并利用 LLM 输出中的表情符号作为生成机器人动作的线索。通过一个志愿者与社交机器人进行对话的试验,我们研究和分析了他们的反馈,对聊天记录进行了严格的错误分析,以阐明设计和实现问题。反馈普遍积极,参与者评论机器人具有共情力、乐于助人、自然和娱乐性。最负面的反馈是由于自动语音识别(ASR)错误,这对对话的影响有限。然而,我们观察到了一类较小的错误,如 LLM 的自我重复或虚构信息和人类回答的产生,这可能会破坏对话,引发了 LLM 应用中的重要问题。
Feb, 2024