Jan, 2024

无监督动作转换用于人机模仿

PDF
TL;DR早期研究旨在通过将人类动作领域中的关节位置序列转化为给定机器人能够实现且受其体现约束的动作领域，从而改进在线人机模仿技术。通过提出一个编码器 - 解码器神经网络模型进行领域转换，利用深度学习方法的泛化能力来解决这个问题。为了训练这样的模型，可以使用与机器人和人类动作相关联的配对数据，然而这样的数据在实践中非常稀少且收集费时。因此，我们转向了无配对领域转换的深度学习方法，并将其改进以实现人机模仿。
online human-robot imitationjoint positionsdeep learning methodsencoder-decoder neural network modelunpaired domain-to-domain translation
发现论文，激发创造
  • 基于表现性潜变空间的无监督人机动作转接

    利用深度学习方法实现人到机器人动作重定向，无需人与机器人动作数据对齐，构建共享的潜空间并进行机器人运动控制，通过简单线性插值生成中间动作，多种输入模态下的机器人控制全面评估，与现有工作相比，在增加自然人机沟通的能力和提升机器人融入日常生活的信任度方面展示了有效性。

    Sep, 2023

  • 通过对抗性模仿从动作捕捉学习人类行为

    本文介绍应用生成对抗性模仿学习方法，通过有限的高维仿人体运动演示数据，训练神经网络策略以产生类人的运动模式，并利用该方法构建子技能策略解决高维身体姿态控制任务。

    Jul, 2017

  • 使用深度循环神经网络学习人体全身运动与自然语言之间的双向映射

    该研究提出了一种使用深度循环神经网络和序列到序列学习学习人体全身运动和自然语言之间双向映射的生成模型，该模型不需要分割或手动特征工程，并学习分布式表示，其结构可以生成逼真的动作或描述.

    May, 2017

  • 人体姿态预测的模仿学习

    提出了一种新的基于增强学习的姿势预测模型，结合行为克隆和生成对抗学习，通过这种模型对未来的人体姿势进行预测，实验结果表明该模型在短期和长期预测方面优于现有方法。

    Sep, 2019

  • 深度强化学习中的机械臂控制和抓取行为模仿

    本研究提出了一种采用 3D 人体姿态估计和强化学习相结合的新型运动模仿模型，通过将运动模仿转化为强化学习中的关节角度预测问题，从而极大减少了对大量训练数据的依赖，使得模型能够从仅有几秒钟的视频中学习模仿策略，并展现出强大的泛化能力。该项目可轻松地将人的手臂运动模仿到机械手臂上，表现出卓越的性能和稳健的迁移能力。

    May, 2024

  • 神经运动网络：无监督动作转移

    提出一种适用于无监督运动再目标化的递归神经网络架构，并使用前向运动学层和循环一致性的对抗性训练目标来捕捉输入运动的高级特征。

    Apr, 2018

  • 一次即视视觉模仿的变形金刚

    本文介绍了一种使用神经网络和 Transformer 注意机制的方法，通过向机器人展示上下文视频来缩小机器人学习中的领域差距，并实现了对单次操作任务的 2 倍成功率提升。

    Nov, 2020

  • 2D 动作重定向中的跨字符动作学习

    本文提出了一种新的方法，通过使用神经网络从视频中提取人体运动的高级潜在表示的方法，实现了不需要显式重建三维姿态和 / 或相机参数的不同人类表演者之间的视频捕获运动的再定向。

    May, 2019

  • 姿态至动作：带有姿态先验的跨域动作重定位

    通过姿势数据和神经运动合成方法，我们利用现有的运动捕捉数据集将合理的动作转移到只有姿势数据的角色上，实验证明该方法可以同时有效地结合源角色的运动特征和目标角色的姿势特征，并通过小型或嘈杂的姿势数据集生成逼真的动作，被参与者评为更加享受观看、外观更逼真且表现更加平滑。

    Oct, 2023

  • 通过领域自适应元学习从观察人类进行单次模仿

    本研究提出了一种使用元学习技术从人类视频中进行一次学习的方法，使机器人能够学习从人类示范中执行任务，无需对人类动作进行特定设计，并且在多种任务上演示了机器人实现的能力。

    Feb, 2018