Jul, 2023

RH20T: 用于一次学习多样技能的机器人数据集

PDF
TL;DR本研究旨在解锁机器人实现多模感知的能力，以通过单次模仿学习技术普及各种真实世界技能，通过收集千万级别的真实世界接触式机器人操作记录构建的开源数据集提高任务和动作规划的性能。
robotic manipulationone-shot imitation learningmulti-modal perceptionreal-world skillsdataset
发现论文，激发创造
  • RH20T-P：面向可组合泛化智能体的原始级机器人数据集

    我们提出了一个原始级别的机器人数据集 RH20T-P，其中包含约 33000 个视频剪辑，涵盖了 44 个多样且复杂的机器人任务，为模块化泛化代理的未来发展提供了便利。

    Mar, 2024

  • 桥接数据：用跨领域数据集提升机器人技能的泛化能力

    本文旨在探索在机器人技能学习中实现实用的数据重用，通过使用包含多个任务和多个领域的多样化数据集进行训练，研究表明这种方法可以大大提高机器人在未曾见过的领域和任务中的成功率，大大降低了对采集昂贵的新数据集的需求。

    Sep, 2021

  • Multiple Interactions Made Easy (MIME): 用于模仿的大规模演示数据

    该论文介绍了当前机器人技术中数据驱动方法的应用以及面临的困难，提出了收集人 - 机器人大规模教学数据集的必要性和如何收集，同时介绍了 MIME 数据集和利用该数据集进行轨迹预测和多任务学习和其它相关研究的应用案例。

    Oct, 2018

  • 双臂精细操纵的多任务机器人数据

    该研究介绍了一个包含双臂任务和 / 或需要细致操纵的多样化对象操作数据集，数据集包括 224k 个剧集、双臂精细任务以及语言指令，并应用于 Dual-Action and Attention (DAA) 模型，该模型在真实机器人操作任务中展示了其在细致操纵方面的能力。

    Jan, 2024

  • BC-Z：利用机器人模仿学习实现无需先学习任务的泛化

    本文旨在通过模仿学习的角度研究如何通过扩大数据采集并建立交互灵活的学习系统来促进基于视觉的机器人操作系统向新任务的泛化，当扩展真实机器人的数据采集到 100 个不同的任务时，我们发现此系统可以实现 24 个未见过的操作任务，平均成功率为 44%。

    Feb, 2022

  • 家庭机器人学习：提高泛化性能和减少数据集偏差

    研究表明，大多数基于数据驱动的机器人任务都是在实验室环境中收集的大规模数据集上进行训练的，该论文提出了在人们的家庭环境中使用低成本机器人手动搬运收集数据的方法，并开发了一种框架来处理数据中的噪音标签。该模型在采集了 28,000 次抓取数据并针对不同环境条件进行物理性能测试后，相较于实验室收集的数据，展现了明显的 43.7% 的改善，该模型还比其他模型表现 10% 更好。

    Jul, 2018

  • LHManip：用于杂乱桌面环境中的长时程语言驱动操作任务的数据集

    通过提供具有多步骤的长期任务的数据集，作者展示了语言条件的模仿学习和离线强化学习在机器人操作中的重要性和表现。

    Dec, 2023

  • PoCo: 来自和为异构机器人学习的政策组合

    从异构数据中训练通用机器人策略，使用 Policy Composition 方法将不同模态和领域的数据结合起来，学习场景级和任务级的广义操作技能，实现对多任务操作的灵活综合和推理时策略行为的自适应。在模拟和真实世界实验中，该组合策略在不同场景和任务下实现了稳健和灵巧的性能，并优于单个数据源的基线结果。

    Feb, 2024

  • Robo360：一种三维全方位多材料机器人操作数据集

    Robo360 是一个数据集，具有密集的视角覆盖，可实现高质量的 3D 神经表示学习，包含多样的物体和各种物理光学属性，促进各种物体操作和物理世界建模任务的研究。通过使用现有的动态 NeRF 验证我们数据集的有效性，并评估其在学习多视角策略方面的潜力。我们希望 Robo360 能在理解 3D 物理世界和机器人控制交叉领域开辟新的研究方向。

    Dec, 2023

  • RoboNet：大规模多机器人学习

    本文提出 RoboNet，一个用于共享机器人经验的开放数据库，结合视觉先见性和监督逆模型两种学习算法，用于视觉引导的机器人操作的泛化模型学习，其预训练和微调性能超过使用 4 倍至 20 倍更多数据的机器人特定培训方法。

    Oct, 2019