Multiple Interactions Made Easy (MIME): 用于模仿的大规模演示数据

Oct, 2018

Multiple Interactions Made Easy (MIME): 用于模仿的大规模演示数据

Multiple Interactions Made Easy (MIME): Large Scale Demonstrations Data for Imitation

Pratyusha Sharma, Lekha Mohan, Lerrel Pinto, Abhinav Gupta

TL;DR该论文介绍了当前机器人技术中数据驱动方法的应用以及面临的困难，提出了收集人 - 机器人大规模教学数据集的必要性和如何收集，同时介绍了 MIME 数据集和利用该数据集进行轨迹预测和多任务学习和其它相关研究的应用案例。

Abstract

In recent years, we have seen an emergence of data-driven approaches in robotics. However, most existing efforts and datasets are either in simulation or focus on a single task in isolation such as grasping, push

data-driven approaches robotics large-scale dataset human-robot demonstrations trajectory prediction

发现论文，激发创造

RH20T: 用于一次学习多样技能的机器人数据集

本研究旨在解锁机器人实现多模感知的能力，以通过单次模仿学习技术普及各种真实世界技能，通过收集千万级别的真实世界接触式机器人操作记录构建的开源数据集提高任务和动作规划的性能。

Jul, 2023

视觉模仿的简易实现

本研究提出了一种基于商用机械臂的可行的、简化了数据收集过程的、能够有效采集各种复杂场景演示数据的人机互动界面，并采用了多项数据增强技术来优化模型的学习性能，最终在非捏取推动和物品堆叠等任务中获得了较高的成功率。

Aug, 2020

双臂精细操纵的多任务机器人数据

该研究介绍了一个包含双臂任务和 / 或需要细致操纵的多样化对象操作数据集，数据集包括 224k 个剧集、双臂精细任务以及语言指令，并应用于 Dual-Action and Attention (DAA) 模型，该模型在真实机器人操作任务中展示了其在细致操纵方面的能力。

Jan, 2024

机器人控制中离线人类演示的学习关键因素

本研究提出了六种离线机器人操纵算法来学习人类行为，通过对不同复杂度的数据集进行分析，揭示了从人类示范数据中学习操纵技能的最关键挑战，同时介绍了从人类数据集学习的机会和优点，为未来研究和公平比较提供了公开的数据集和算法实现。

Aug, 2021

多人模仿学习中的兼容演示引导

研究通过基于人提供的演示的模仿学习来学习机器人操作策略，通过测量新演示与基本策略的兼容性并积极征求新用户的兼容演示，从而改善任务成功率。

Oct, 2022

利用语义想象经验扩展机器人学习

该研究提出一种基于文本至图像转换的数据扩充方法，命名为 ROSIE，通过在现有的机器人操作数据集上应用文本引导扩充数据的方法，我们可以在新的场景和任务中实现更好的机器人操作性能和鲁棒性。

Feb, 2023

DITTO：轨迹转换实现示范模仿

通过离线和在线阶段的两步操作，本研究提出了一种通过单个 RGB-D 视频演示进行一次性模仿的机器人教学方法，包括轨迹提取、对象检测、轨迹匹配，借助多个辅助模型验证设计决策，并在真实世界场景下进行了广泛评估。

Mar, 2024

MimicGen：一个用于可扩展机器人学习的数据生成系统，利用人类演示

利用少量人类示范，通过适应它们到新场景的方式，自动合成大规模且丰富的数据集，使机器人代理能够在长期视野和高精度任务中通过模仿学习取得良好的性能，比收集额外的人类示范更有效且经济。

Oct, 2023

Habitat-Web: 从大规模人类演示中学习具身体物体搜索策略

大规模仿真学习研究证明在新环境中使用人类示范对比传统的强化学习对于机器人物品寻找的效率更高，在目标导航和 Pick＆Place 方面都表现出良好的表现，并呈现出不错的收缩算法的可能性。

Apr, 2022

人机合作：通过眼手协同人类演示学习可推广的机器人操作

本研究旨在利用标注不足的人类视频示范来改进基于视觉的机器人操作学习数据，通过引入图像遮蔽的方法，提高眼手相机机器人操作策略的成功率达 58％。

Jul, 2023