机器人与非固定人员之间的有效协作行为变压器
本文提出了一种名为 C-BeT 的新方法,结合了 Behavior Transformer 多模态生成能力和条件生成模型技术,实现从多模态、嘈杂数据中提取有用、任务中心的行为,取得了有益的效果,而该方法也是第一个实现从无标签、零奖励信息的玩耍数据里纯学习真实世界机器人有用任务行为的方法。
Oct, 2022
在本文中,我们提出了一种在共享的人机表示空间中建模社交动作预测的方法,通过这种方法我们能够合成与人类在社交场景中相互作用的机器人动作,即使在运动训练中没有观察到任何机器人。我们开发了一种名为 ECHO 的基于 Transformer 的架构,在上述共享空间中操作来预测社交场景中遇到的个体未来动作。与先前的工作相反,我们重新制定了社交动作问题,将其视为根据周围的个体来改进预测的单个动作的问题,这有助于训练,并且在场景中只有一个人时允许进行单个动作预测。我们在多人和人机动作预测任务中评估了我们的模型,并且取得了领先的性能,而且具有高效和实时执行的特点。此外,我们的定性结果展示了我们的方法通过文本命令生成可控制的人机交互行为的有效性。
Feb, 2024
本文介绍了一种名为 BeT 的新技术,该技术利用多模式建模,并结合动作离散化技术和多任务操作校正,在离线强化学习和行为克隆方面表现出色。我们在各种机器人操作和自驾行为数据集上进行了实验评估,并显示出 BeT 显着改善了解决示范任务的先前最先进工作,同时捕获了预先收集的数据集中存在的主要模式。
Jun, 2022
在协作人机操纵中,机器人必须预测人类意图并相应地调整动作以顺利执行任务。本研究通过利用人机动作之间的对应关系,提出了一种新颖的架构 InteRACT,通过在大规模人机数据集上预训练条件意图预测模型并在小规模人机数据集上微调,评估了一组真实世界的协作人机操纵任务,并证明了我们的条件模型优于各种边缘基线模型。还引入了一些新技术来远程操作一个具有七自由度的机器人臂并收集了各种各样的人机协作操纵数据,该数据已开源。
Nov, 2023
本项研究将迁移学习集成在深度强化学习代理中,以此从专家那里传递知识提高人 - 机器协作质量。实验发现,这种方式不仅缩短了任务训练时间,而且明显提升了团队表现和主观感受,并能为透明和可解释的机器人行为设计提供有趣的见解。
Nov, 2022
本文提出了一个框架,该框架将信任纳入人工智能团队合作的场景中,在这个场景下,一个智能体必须与人类合作完成任务。在任务过程中,智能体需要通过互动和观察来推断人类对其的信任程度,并调整自己的行为以最大化团队的表现。为了实现这一目标,我们建议从人类参与的实验中收集数据,定义不同的设置(基于信任水平),并为每个设置学习最优策略。然后,我们创建一个模块来推断当前的设置(取决于信任的数量)。最后,我们在实际场景中验证了这个框架,并分析了这种可适应行为对信任的影响。
Oct, 2022
通过结合条件序列建模和技能模块化,我们提出了 Skill Transformer 方法,用于解决长期规划的机器人任务,并通过 Transformer 架构和演示轨迹对高级技能和低级动作进行端到端训练,并通过技能预测模块保持整体任务的组合性和模块化,同时考虑低级动作并避免常见的模块化方法中的交接错误。在具有挑战性的重新排列问题中,我们对 Skill Transformer 进行了测试,发现其在新场景中执行稳健的任务规划和低级控制,并在成功率上比基线提高了 2.5 倍。
Aug, 2023
本文介绍了一种使用神经网络和 Transformer 注意机制的方法,通过向机器人展示上下文视频来缩小机器人学习中的领域差距,并实现了对单次操作任务的 2 倍成功率提升。
Nov, 2020
本研究通过一个协同迷宫游戏设计,用深度强化学习技术实现了人机共同协作。研究结果证明人机共同协作相互影响,在时间的推进下不断适应并建立起相应策略,这为人机智能的协作提供了可行的方案。
Mar, 2020