策略学习的全点轨迹建模
我们探讨了密集跟踪作为一种表征工具,使机器人能够更快、更通用地从示教中学习,并展示了通过密集跟踪生成的稳健机器人策略能够解决复杂的物体排列任务,如形状匹配、堆叠,甚至全路径跟踪任务,如涂胶并粘合物体,这些示教仅需数分钟即可收集。
Aug, 2023
通过应用强化学习的最新趋势并借鉴专家代理的演示,提出了两种新型跟踪器:A3CT 和 A3CTD,均利用现有的跟踪器进行有效的跟踪,并在多个基准测试中取得了最新的成果。
Sep, 2019
通过使用网络视频进行预测性互动计划的学习,结合机器人在真实世界中的任务无关转换,以及通过少量具体示范进行训练的闭环策略预测残余动作,我们提出了一种可扩展学习的路径预测方法,实现了任务零 - shot 机器人操作,并在未见任务、对象和场景上呈现了大量真实世界机器人操作结果。
May, 2024
通过一个基于视频的条件学习智能体(ViP)方法,本文提出了一种无需训练数据就能够通过人类演示来控制机器人操作的方法,该方法在多项机器人操作环境中的表现优于现有技术,并在新的零样本设置中展现出良好的性能,可能具有广泛的应用前景。
May, 2023
通过离线和在线阶段的两步操作,本研究提出了一种通过单个 RGB-D 视频演示进行一次性模仿的机器人教学方法,包括轨迹提取、对象检测、轨迹匹配,借助多个辅助模型验证设计决策,并在真实世界场景下进行了广泛评估。
Mar, 2024
该研究论文探讨了使用粗略轨迹草图作为任务表示的方法,称为 RT-Trajectory,该方法通过有效地执行新任务,克服了现有语言条件和目标条件策略的局限性,具有广泛的泛化能力。
Nov, 2023
本文提出了一种基于神经网络的运动规划方法,使用学习演示来训练机器人在动态障碍物环境下进行端到端导航,此方法可通过原始 2D 激光测距数据将目标位置映射到机器人的导航命令。模型已通过模拟和实际测试的方式进行了有效验证与比较。
Sep, 2016
本论文提出一种基于无标注训练数据的方法,结合深度动作条件视频预测模型和模型预测控制,使真实机器人能够进行非抓取操作,比如推动物体,并且可以处理训练过程中没有出现过的新物体。
Oct, 2016
通过自我监督的模仿学习方法,使用自回归时空图神经网络进行辅助饮水任务,利用多样化的人体运动轨迹数据来生成适合 UR5e 机器臂的自然而又功能性的饮水运动轨迹。
Sep, 2023
在这篇论文中,我们提出了一种视觉 - 运动策略学习框架,该框架在给定任务的人类示范中对视频扩散模型进行微调。在测试阶段,我们生成了一个以新颖场景的图像为条件的任务执行示例,并直接使用这个合成的执行结果来控制机器人。我们的主要观点是,使用常用工具可以轻松地弥合人手和机器人操作者之间的具身隔阂。我们在四个复杂度不断增加的任务上评估了我们的方法,并证明利用互联网规模的生成模型使得学习策略可以比现有行为克隆方法实现更高程度的泛化。
Jun, 2024