一次即视视觉模仿的变形金刚
本研究提出了一种使用元学习技术从人类视频中进行一次学习的方法,使机器人能够学习从人类示范中执行任务,无需对人类动作进行特定设计,并且在多种任务上演示了机器人实现的能力。
Feb, 2018
通过模仿学习,我们能够快速理解一个新任务,通过演示,我们可以直接获得哪些动作需要执行以及它们的目标的知识。本文介绍了一种新的模仿学习方法,解决了机器人模仿人类所面临的视角变化和身体模式等挑战。我们的方法可以利用单个人类演示来抽象展示任务的信息,并利用该信息进行泛化和复制。我们通过两种最先进的方法进行了新的集成:扩散式动作分割模型用于抽象演示的时间信息,以及开放词汇对象检测器用于空间信息。此外,我们通过符号推理来改进抽象的信息,并利用逆向运动学创建行动计划,以使机器人能够模仿演示的动作。
Jan, 2024
本研究提出了一种基于 Transformer 的方法来处理人类语言指令和多视角场景观察,以提高机器人的精准操作,并在 RLBench 基准测试中成功实现 74 项任务,还表现出对未曾见过变化的任务的良好泛化性能。
Sep, 2022
早期研究旨在通过将人类动作领域中的关节位置序列转化为给定机器人能够实现且受其体现约束的动作领域,从而改进在线人机模仿技术。通过提出一个编码器 - 解码器神经网络模型进行领域转换,利用深度学习方法的泛化能力来解决这个问题。为了训练这样的模型,可以使用与机器人和人类动作相关联的配对数据,然而这样的数据在实践中非常稀少且收集费时。因此,我们转向了无配对领域转换的深度学习方法,并将其改进以实现人机模仿。
Jan, 2024
该论文提出了一种新的模仿学习系统 OPTIMUS,通过模仿 TAMP 代理来训练大规模视觉运动装置策略,从而介绍了一种专门为模仿学习策划的 TAMP 数据生成流程,并演示了 OPTIMUS 可以解决各种挑战性的基于视觉的操作任务。
May, 2023
本文提出了一种无需专家指导,在探索环境中通过前向一致性损失生成目标导向的技能策略,并应用其中的零样本策略,成功地实现了 Baxter 机器人复杂绳子操作和 TurtleBot 在未知办公室环境中的导航。
Apr, 2018
通过观察人类行为并将其翻译成可执行的动作,本研究介绍了一种基于视频学习的机器人框架 Vid2Robot,它通过训练机器人模型利用人类视频和机器人轨迹数据集进行任务执行。该模型利用交叉注意力机制将提示视频特征融合到机器人的当前状态中,并生成能够模仿所观察任务的适当动作,大幅提升执行效果,同时显示着在真实世界应用中的潜力。
Mar, 2024
本研究提出一种元模仿学习方法,通过深度神经网络对机器人进行高效学习,使机器人能够从一个单独的示例中获取新技能,并能够终端到端地学习。实验结果表明,该方法能够扩展到原始像素输入,并且需要较少前置任务数据,具有广泛的应用前景。
Sep, 2017
本文提出了一种使用基于 Transformer 的自注意力结构实现眼神预测,以实现具有记忆的机器人操作任务的算法。通过将机器人视觉输入的连续序列作为输入,该算法能够通过使用传统的深度模仿学习方法并结合眼动预测来实现多物体操作任务。实验结果表明,该方法成功地改善了机器人在具有记忆要求的复杂环境中的操作表现。
Feb, 2022