Nov, 2023

镜中机器人：通过关联自监督模型学习模仿

PDF
TL;DR我们通过联合不同的自监督模型来构建一个定制模型，以解决智能机器人通过镜子观察自身并学习从图像中检测自己身体的 3D 姿势的问题。我们展示了该方法的实例，并通过对模型的部署进行了较全面的研究和评估，以提高模型的性能和调整超参数。
custom modelself-supervised models3d pose detectionlatent spacesimitation learning
发现论文，激发创造
  • 时间对比网络：从视频中进行自监督学习

    提出了一种自监督学习的方法，可以从多个视角拍摄的未标记视频中学习表征和机器人行为，能够用于机器人模仿人类的对象交互和身体姿势，训练该模型使用度量学习损失，使该模型能够发现在不同视角下发生变化但在时间域内不发生变化的属性，并可在强化学习算法中用作奖励函数。

    Apr, 2017

  • 教授机器人建立关于自身的仿真模型

    通过使用自我监督学习框架，我们使机器人能够只使用简短的原始视频数据来模拟和预测其形态、运动学和运动控制，从而实现了准确的运动规划和异常检测。

    Nov, 2023

  • 机器人自我 / 他者区分：主动推理与神经网络在镜子中的学习相遇

    本文描述了通过使用自我识别算法的方法，人造机器人可以通过镜子识别自己并将自己的行为与其他实体区分开来。该算法将主动推理理论模型与神经网络学习相结合，通过自由能最小化推理机体配置并累积证据进行自我识别。实验结果表明该算法在不同的初始条件下具有可靠性。

    Apr, 2020

  • MIRROR：可微分的深度社交投影，用于辅助人机通信

    利用强化学习快速学习人类模型，从而在智能辅助控制系统中通过 MIRROR 方法进行有效的人际通信规划。

    Mar, 2022

  • 机器人模仿人类动作

    通过模仿学习，我们能够快速理解一个新任务，通过演示，我们可以直接获得哪些动作需要执行以及它们的目标的知识。本文介绍了一种新的模仿学习方法，解决了机器人模仿人类所面临的视角变化和身体模式等挑战。我们的方法可以利用单个人类演示来抽象展示任务的信息，并利用该信息进行泛化和复制。我们通过两种最先进的方法进行了新的集成：扩散式动作分割模型用于抽象演示的时间信息，以及开放词汇对象检测器用于空间信息。此外，我们通过符号推理来改进抽象的信息，并利用逆向运动学创建行动计划，以使机器人能够模仿演示的动作。

    Jan, 2024

  • 通过领域自适应元学习从观察人类进行单次模仿

    本研究提出了一种使用元学习技术从人类视频中进行一次学习的方法，使机器人能够学习从人类示范中执行任务，无需对人类动作进行特定设计，并且在多种任务上演示了机器人实现的能力。

    Feb, 2018

  • HumanPlus: 人形机器人的人体投射与模仿

    通过使用模拟训练和自我影子技术，本文介绍了一个全栈系统，使得机器人能够通过人类数据学习运动和自主技能。

    Jun, 2024

  • 一次即视视觉模仿的变形金刚

    本文介绍了一种使用神经网络和 Transformer 注意机制的方法，通过向机器人展示上下文视频来缩小机器人学习中的领域差距，并实现了对单次操作任务的 2 倍成功率提升。

    Nov, 2020

  • 无监督动作转换用于人机模仿

    早期研究旨在通过将人类动作领域中的关节位置序列转化为给定机器人能够实现且受其体现约束的动作领域，从而改进在线人机模仿技术。通过提出一个编码器 - 解码器神经网络模型进行领域转换，利用深度学习方法的泛化能力来解决这个问题。为了训练这样的模型，可以使用与机器人和人类动作相关联的配对数据，然而这样的数据在实践中非常稀少且收集费时。因此，我们转向了无配对领域转换的深度学习方法，并将其改进以实现人机模仿。

    Jan, 2024

  • 学习身体模型：从人类到仿人机器人

    本研究通过与发展心理学家合作的定向实验，了解婴儿如何获得第一次的 “感觉 - 运动身体知识”，进而构建具有传感器官的计算模型，对多模态身体表示学习、适应和操作的机制进行研究，提出了自我接触和自我观察的办法，开发了一个校准工具箱，并在多个机器人平台上进行了实验验证，最终研究了周围空间与人类和机器人的安全合作的可能性。

    Nov, 2022