ManiSkill2 是 SAPIEN ManiSkill 基准的下一代版本，它包含 20 个操作任务族，2000 多个物体模型和 4M 多演示帧，定义了一个统一的界面和评估协议，支持各种算法，视觉观察和控制器，并赋予快速视觉输入学习算法的能力。

Feb, 2023

本文介绍了我们参加 SAPIEN ManiSkill Challenge 的方案，采用点云特征和深度宽度变换网络来预测机器人模拟器的动作得分，并展示了一个经验研究。

Aug, 2022

本文提出了 SAPIEN Manipulation Skill Benchmark（ManiSkill），用于在全物理模拟器中基于多种对象进行操作技能测试，旨在支持互动和演示学习方法，并提供用于 3D 深度学习和 LfD 算法的基线。

Jul, 2021

研究提出了一种使用自然语言引导体现任务完成的模型，使用模块在更广阔的视野范围内学习选择下一步是否需要导航或操作，改进了现有基准数据集 ALFRED 上的表现。但是，最优模型在未见过的测试集分裂上表现不佳，突出了在机器学习任务中性能波动的需要修改基准设计以更好地考虑模型性能差异的需求。

May, 2022

介绍了 EmbodiedGPT，一种多模式基础模型，用于具有多模式理解和执行能力的具体智能体，可在物理环境中计划和执行动作序列，从而显着提高了具体控制任务的成功率。

May, 2023

提出了一个学习机器人操纵任务高级认知能力的新框架，使用语言模型构建 AlphaBlock 数据集，自动采集综合高级多步文本计划和配对观察序列，使用多模式的闭环计划模型自回归生成计划，从而实现对机器人的精细操作。实验结果表明，该方法显著提高了成功率。

May, 2023

本文讨论了构建具有社交交互能力的具体化自主智能体是人工智能面临的主要挑战之一，并指出了目前在具体化语言使用方面的研究方向存在的局限性。作者认为，实现人类水平的人工智能需要更广泛的关键社交技能。最后，通过实验研究了一种近期最先进的深度强化学习方法的局限性。

Apr, 2021

本文提出了一种基于大规模数据驱动的框架，通过对动作片段的不需要任务特定的注释或分割的大数据集进行对抗性模仿学习和无监督强化学习来开发可生动表现行为且易于控制下游任务的技能嵌入，并且利用大规模并行 GPU 模拟器的并行计算能力，训练技能嵌入，使其能够学习丰富、多样化的技能，从而使在新的多种任务中表现成功，为物理模拟动画的基础控制策略提供了新思路。

May, 2022

本文通过模仿学习的方式解决在复杂情况下通过学习实现物体操作技能的问题，提出了一种可以应用于各项任务的无先验奖励的泛化策略学习方法，并通过几个关键技术，包括生成式对抗自我模仿学习、不断完善的判别器和平衡专家池中的实例，显著提高了分类水平操作策略学习的效率和泛化能力。实验结果在 ManiSkill 基准测试中都有明显改善。

Mar, 2022

Autonomous robotic systems capable of learning manipulation tasks can be transformed through Agent-Agnostic representations for Manipulation (Ag2Manip), which overcomes domain gaps, enhances generalizability, and achieves significant improvements in performance.

Apr, 2024