人类具有内在的通用视觉表征，使其能够高效地探索和与环境进行物体操控。本研究提出使用多任务微调的方式在经过预训练的视觉编码器上学习感知技能，通过任务融合解码器指导表示学习，使得对于所有感知技能来说，学习编码的结构能够更好地表示重要信息，最终为下游的机器人操控任务提供帮助。大量实验验证了任务融合解码器在多个机器人任务和仿真及现实环境中对于三种最先进的视觉编码器（R3M、MVP 和 EgoVLP）的表示进行了改进，提升了下游操控策略的学习性能。

Oct, 2023

利用人机视频数据进行对齐来适应预先训练模型到机器人领域，在多个任务中实现了显著的成功率提升。

Jun, 2024

Autonomous robotic systems capable of learning manipulation tasks can be transformed through Agent-Agnostic representations for Manipulation (Ag2Manip), which overcomes domain gaps, enhances generalizability, and achieves significant improvements in performance.

Apr, 2024

利用视觉语言模型（VLMs）进行机器人操纵的研究提出了一种新的范式，旨在增强模型对新对象和指令的推广能力。为解决摄像机规格和安装位置的变化带来的性能差异，该研究提出了 RoboUniView 方法，该方法从多个视角学习统一的视图表示，并从该表示中得出操纵机器人的动作。该统一的视图表示更准确地反映了物理世界，不受机器人平台摄像机参数的限制，并在 CALVIN 基准测试中获得了最先进的性能，将成功率从 88.7％提高到 96.2％。此外，该模型还表现出卓越的适应性和灵活性：它在未知摄像机参数下保持高性能，可以利用具有不同摄像机参数的多个数据集，并能够在数据集之间进行联合多任务学习。研究代码已提供以供重新实现。

Jun, 2024

RiEMann 是一个端到端的近实时 SE (3)- 等变机器人操作仿真学习框架，从场景点云输入中直接预测目标物体的姿态，学习任务的过程中不需要目标物体分割，具有泛化到未见 SE (3) 变换和目标物体实例、抵抗干扰物体的视觉干扰以及跟踪目标物体的近实时姿态变化等特点。在仿真和真实世界的 6 自由度机器人操作实验中，通过对 5 类操作任务的 25 个变体进行测试，RiEMann 在任务成功率和预测姿态的 SE (3) 测地距离误差方面均优于基准模型（误差减少了 68.6%），并实现了每秒 5.4 帧的网络推断速度。

Mar, 2024

本文提出一种名为语义几何表征（SGR）的感知模块，旨在整合 RGB 和深度相机的信息，以更好地学习机器人感知和控制的表征，实验结果表明，SGR 在单任务和多任务设置下的表现均显著优于其他方法，并具有到新语义属性的泛化能力。

Jun, 2023

基于大规模真实世界数据的视觉预训练在最近几年取得了很大的进展，展示了在像素观察中进行机器人学习的巨大潜力。本文从三个基本角度（预训练数据集、模型架构和训练方法）深入研究了视觉预训练策略对机器人操作任务的影响，并提供了几个重要的实验发现，有益于机器人学习。此外，我们提出了一种用于机器人操作的视觉预训练方案，称为 Vi-PRoM，它结合了自监督学习和监督学习。具体而言，前者利用对比学习从大规模无标签数据中获取潜在模式，而后者旨在学习视觉语义和时间动态。在各种仿真环境和真实机器人中进行了大量实验证明了所提出方案的优越性。更多细节和视频可在 https://explore-pretrain-robot.github.io 找到。

Aug, 2023

通过人类反馈，提出了一种用于解决视觉表征对齐问题和视觉奖励学习问题的方法：表示对齐的基于偏好的学习（RAPL）。在 X-MAGICAL 和机器人操纵的实验中，RAPL 的奖励 consistently 生成高样本效率的优选机器人行为，并在视觉表征来自与机器人不同的实体的情况下显示出强大的零样本泛化能力。

Oct, 2023

本研究提出了 RVT-2，一种多任务 3D 操纵模型，通过构架和系统层面的改进，使其在训练时快 6 倍、推理时快 2 倍，实现了在 RLBench 上的成功率从 65％提高到 82％，能够通过仅仅 10 个演示来学习需要高精度的任务，如拾取和插入插头。

Jun, 2024

通过对 15 个预训练视觉模型的性能比较，发现视觉出现分割能力是 ViT 模型在分布偏移下的强预测因子。在十个任务中进行广泛测试后，分割分数在离线训练和 50 次演示后预测了真实世界的性能。

Nov, 2023