基于结构化世界模型的好奇探索实现零样本物体操作
使用神经网络的好奇心驱动内在动机以及采用自我监督的方法,在简单而生态自然的模拟环境中,实现自主环境探索,获取对环境的理解,从而创造一系列复杂的行为,并提高了对象动态预测、检测、定位和识别任务的性能。
Feb, 2018
研究利用特征空间和世界模型提高机器人在可变形物体折叠任务中的学习效率和性能,结果发现使用特征点可以将最佳模型的性能提升 50%,学习效率也可以得到提升。
Oct, 2022
本文提出一种基于关系归纳偏见的新型插入式模块,可使代理程序在学习固定的多对象设置中学习操作任务,并在输入对象数量改变时零样本泛化,解决了前人方法因其复杂度而无法泛化的问题。
Jan, 2022
通过实现以好奇心驱动的内在动机的神经网络,我们表明计算的内在动机模型可能解释婴儿发展视觉运动学习的关键特征,包括自我运动预测、物体注意以及物体获取等。
Feb, 2018
本研究旨在使用生成神经网络建立流行的强化学习环境下的世界模型,并利用该世界模型进行无监督学习,学习环境的空间和时间紧凑表示。通过使用从世界模型提取的特征作为代理输入,我们可以训练出非常紧凑和简单的策略来解决所需任务。我们甚至可以在代理自己的幻象梦境中完全进行训练,并将该策略传输回实际环境中。
Mar, 2018
本文介绍了使用基于图形的关系结构从简单的任务中学习并实现复杂的机器人操作任务,使用了强化学习方法并在喂入少量数据的情况下超越现有的最先进方法,同时也实现了零样本泛化。
Dec, 2019
我们研究如何通过大量的人类视频数据学习机器人在与未知对象交互时的多样化操作技能,采用分解方法从人类视频数据中学习人类如何完成期望任务,并将其转化为机器人的行为,从而实现零样本通用操作。
Dec, 2023
这项研究提出了一种适用于表示多个物体及其相互作用的可视强化学习结构化方法,用于学习多个物体的目标条件操纵,并演示了学习使用三个物体但能推广到具有十多个物体的类似任务的代理的能力。
Apr, 2024
FOCUS 是一个基于模型的代理人,通过一种新颖的探索奖励机制可以在机器人操纵任务中更轻松地探索物体交互,在不同环境中的操作任务中表现出更高的效率,同时可以应用于现实世界任务中,这将有助于提高机器人的操作能力。
Jul, 2023
通过使用预训练的视觉 - 语言模型,开发了一种简单的方法 Manipulation of Open-World Objects (MOO) 来从自然语言命令和图像中提取目标标识信息,并将机器人策略基于当前图像、指令和提取的对象信息。在一个真实的移动机械臂上进行了多种实验,发现 MOO 可以零样本推广到广泛的新对象类别和环境中。
Mar, 2023