基于物理控制的通用人形动作表示
本文介绍应用生成对抗性模仿学习方法,通过有限的高维仿人体运动演示数据,训练神经网络策略以产生类人的运动模式,并利用该方法构建子技能策略解决高维身体姿态控制任务。
Jul, 2017
人类具有内在的通用视觉表征,使其能够高效地探索和与环境进行物体操控。本研究提出使用多任务微调的方式在经过预训练的视觉编码器上学习感知技能,通过任务融合解码器指导表示学习,使得对于所有感知技能来说,学习编码的结构能够更好地表示重要信息,最终为下游的机器人操控任务提供帮助。大量实验验证了任务融合解码器在多个机器人任务和仿真及现实环境中对于三种最先进的视觉编码器(R3M、MVP 和 EgoVLP)的表示进行了改进,提升了下游操控策略的学习性能。
Oct, 2023
我们提出了一种能够在真实世界中让机器人产生丰富、多样和表现力强的动作的方法,通过在一个人型机器人上学习一个整体控制策略,尽可能地模仿人类的真实动作。通过在强化学习框架中利用图形社区的大规模人体动作捕捉数据来训练这种策略,但是直接使用动作捕捉数据集进行模仿学习可能无法适用于真实的人形机器人,因为在自由度和物理能力方面存在巨大差距。我们的方法(Exbody)通过鼓励上半身模仿参考动作,而放松对其两条腿的模仿约束,只要求它们能够稳定地跟随给定速度来解决这个问题。通过在模拟和实际场景中进行训练和仿真转移,我们的策略可以控制一个人形机器人以不同的风格行走,与人类握手,甚至与人类共舞。我们进行了广泛的研究和比较,展示了我们方法的有效性。
Feb, 2024
利用深度学习方法实现人到机器人动作重定向,无需人与机器人动作数据对齐,构建共享的潜空间并进行机器人运动控制,通过简单线性插值生成中间动作,多种输入模态下的机器人控制全面评估,与现有工作相比,在增加自然人机沟通的能力和提升机器人融入日常生活的信任度方面展示了有效性。
Sep, 2023
本研究提出一个基于深度学习的人体动作捕捉数据的通用模型,学习自大量的捕捉数据中,并成功应用于人体动作特征提取、分类和预测,优于现有最新技术,具有普遍性。
Feb, 2017
早期研究旨在通过将人类动作领域中的关节位置序列转化为给定机器人能够实现且受其体现约束的动作领域,从而改进在线人机模仿技术。通过提出一个编码器 - 解码器神经网络模型进行领域转换,利用深度学习方法的泛化能力来解决这个问题。为了训练这样的模型,可以使用与机器人和人类动作相关联的配对数据,然而这样的数据在实践中非常稀少且收集费时。因此,我们转向了无配对领域转换的深度学习方法,并将其改进以实现人机模仿。
Jan, 2024
该篇论文介绍了如何使用基于数据驱动的生成模型,结合深度强化学习算法来实现基于多段运动捕捉数据的真实人体动作生成,并分析了 Motion VAEs 的局限性。
Mar, 2021
研究逆向行动识别问题,以给定的预设行动类型为条件,通过采用 Lie Algebra 理论和时序变分自编码器(VAE)来生成 3D 的逼真的人体运动序列,并保持多样性,实验评估证明了方法的有效性。
Jul, 2020
我们提出了一种基于物理的机器人控制器,可以在嘈杂的输入和意外跌倒的情况下实现高保真度的运动模仿和容错行为,并通过逐渐乘性控制策略在大规模动作数据库中学习,从而可实现对失败状态的恢复。
May, 2023