本研究探讨了预先在多样化人类视频数据上进行训练的视觉表示如何实现对下游机器人操作任务的数据高效学习。我们使用时间对比学习、视频语言对齐和 L1 惩罚的组合来预先训练 Ego4D 人类视频数据集的视觉表示。最终结果是一个名为 R3M 的表示，可用作下游策略学习的静态感知模块。在 12 个模拟机器人操作任务中，我们发现与从头开始训练以及与 CLIP 和 MoCo 等最先进的视觉表示相比，R3M 可将任务成功率提高 20％以上。此外，R3M 使 Franka Emika Panda 手臂仅使用 20 个演示即可在真实的、杂乱的公寓中学习一系列操作任务。

Mar, 2022

本文利用李群的表示理论构建了新的 SE (3) - 等变能量模型，允许高样本的端到端学习。我们证明这些模型可以从头开始学习，但具有很高的样本效率，并且可以推广到具有不同要求的任务中。

Jun, 2022

本文从 Riemann 流形的角度研究了机器人运动学习范式，并探讨了通过人类示范学习获得 Riemann 流形以及通过利用考虑障碍物的周围度量重新塑造学习的流形来促进末端点 / 多肢体避障的技术。通过 7 自由度机器人操作机械臂展示了学习和生成基于复杂运动模式的运动技能的能力，并评估了多种障碍物避开策略和在多种模式下生成轨迹。

Mar, 2022

本文介绍了一种利用强化学习方法进行非图像化的六自由度物体操作的方法，即 Hybrid Actor-Critic Maps for Manipulation (HACMan)，其提出了非捏持操作的物体分析和空间关联动作建模，采用离散 - 连续的动作表示法，可以帮助机器人实现对未知物体的高效操作。

May, 2023

基于图像的机器人操纵系统，利用多个视角捕捉目标物体，推断深度信息以补充其几何信息，采用几何一致性融合视角，实现精确操纵决策。

Oct, 2023

本文提出了一种基于点云观测数据，实现元素实例任意姿态下空间关系任务的方法，该方法通过三个步骤解决了元素重排列问题：指定本地协调对象部件的一致坐标系；在新的对象实例上确定该坐标系的位置和方向；实施调整坐标系以达到所需呈现的目的。关键技术难题得到了克服，性能得到了提高。

Nov, 2022

该研究介绍了一种方法，使机器人能够迅速学习给定物体的完整三维模型以便在陌生的方向上进行操作，通过优化信息性和可行性来确定下一步动作，并通过重新估计物体姿态来纠正相互作用过程中引入的不对齐，通过实验证明与现有方法相比，在视觉重建质量（PSNR）提高 14％，在对象表面几何 / 深度重建（F-score）方面提高 20％，在场景中操作未见过方向 / 稳定配置的物体的任务成功率提高 71％。

Apr, 2024

Autonomous robotic systems capable of learning manipulation tasks can be transformed through Agent-Agnostic representations for Manipulation (Ag2Manip), which overcomes domain gaps, enhances generalizability, and achieves significant improvements in performance.

Apr, 2024

本文介绍了一种用于完成机器人操纵中的多个复杂任务和长时间范围内的自适应行为的混合层次学习框架 - 机器人操纵网络（ROMAN），它通过行为克隆、模仿学习和强化学习相结合，实现了任务的多样化和健壮性的故障恢复。

Jun, 2023

本文提出了一种新型遥控系统，包含了触觉设备以及虚拟现实界面，应用于动态和非结构化环境下的空中机器人操作。利用多个传感器进行感知、姿态估计以及神经网络的主动学习等算法，针对工业领域的任务进行了验证实验，并展示了该系统在未来工业应用中的可行性。

Oct, 2022