基于表示学习的自然机器人手臂轨迹生成
本研究提出了一种采用 3D 人体姿态估计和强化学习相结合的新型运动模仿模型,通过将运动模仿转化为强化学习中的关节角度预测问题,从而极大减少了对大量训练数据的依赖,使得模型能够从仅有几秒钟的视频中学习模仿策略,并展现出强大的泛化能力。该项目可轻松地将人的手臂运动模仿到机械手臂上,表现出卓越的性能和稳健的迁移能力。
May, 2024
本文介绍应用生成对抗性模仿学习方法,通过有限的高维仿人体运动演示数据,训练神经网络策略以产生类人的运动模式,并利用该方法构建子技能策略解决高维身体姿态控制任务。
Jul, 2017
早期研究旨在通过将人类动作领域中的关节位置序列转化为给定机器人能够实现且受其体现约束的动作领域,从而改进在线人机模仿技术。通过提出一个编码器 - 解码器神经网络模型进行领域转换,利用深度学习方法的泛化能力来解决这个问题。为了训练这样的模型,可以使用与机器人和人类动作相关联的配对数据,然而这样的数据在实践中非常稀少且收集费时。因此,我们转向了无配对领域转换的深度学习方法,并将其改进以实现人机模仿。
Jan, 2024
本文介绍使用干预性策略学习的方法来解决机器人操作任务中必须经过精确定序的地方的问题,提出一种 6 自由度机器人操作任务的数据采集系统,并开发了一个简单而有效的算法来收集新数据以遍历通过这些难点,使用干预策略学习的代理在机器人的线路穿线任务和制造咖啡任务中的表现优于其他多种基线算法。
Dec, 2020
该论文介绍了一种通过捕捉物体的深度图像来获取其运动学模型的方法,以便于机器人能够独立使用这些物体,这种方法不需要先前的物体模型,并使用了稀疏(无标记)特征跟踪、运动分割、组件姿态估计和运动学习等技术。
Feb, 2015
通过模仿学习,我们能够快速理解一个新任务,通过演示,我们可以直接获得哪些动作需要执行以及它们的目标的知识。本文介绍了一种新的模仿学习方法,解决了机器人模仿人类所面临的视角变化和身体模式等挑战。我们的方法可以利用单个人类演示来抽象展示任务的信息,并利用该信息进行泛化和复制。我们通过两种最先进的方法进行了新的集成:扩散式动作分割模型用于抽象演示的时间信息,以及开放词汇对象检测器用于空间信息。此外,我们通过符号推理来改进抽象的信息,并利用逆向运动学创建行动计划,以使机器人能够模仿演示的动作。
Jan, 2024
通过离线和在线阶段的两步操作,本研究提出了一种通过单个 RGB-D 视频演示进行一次性模仿的机器人教学方法,包括轨迹提取、对象检测、轨迹匹配,借助多个辅助模型验证设计决策,并在真实世界场景下进行了广泛评估。
Mar, 2024
本文利用基于拓扑的坐标将任务建模为强化学习问题,以直接响应外部干扰和人体动作的行为方式,学习生成运动,解决某些救援或病人护理场景中的大型物品运输。仿真动态海上救援场景并进行定量实验,展示学习策略可以解决不同形状的人类,漂浮的人类或感知噪声。我们的定性实验展示了持续保持后的运输,证明了该策略可以直接转移到实际场景中。
Sep, 2018
这篇研究论文介绍了一种将自然语言引入模仿学习中的方法,可以让专家在提供动作演示的同时,提供自然语言的描述。通过融合语言、知觉和动作的关系,实现了更加精细的控制,降低了场景的模糊度。在七自由度机械臂控制任务上的模拟实验表明,此方法可有效学习自然语言条件下的机器人操作策略,并与其他方法相比做出了明显改进。
Oct, 2020