通过对 15 个预训练视觉模型的性能比较，发现视觉出现分割能力是 ViT 模型在分布偏移下的强预测因子。在十个任务中进行广泛测试后，分割分数在离线训练和 50 次演示后预测了真实世界的性能。

Nov, 2023

基于大规模真实世界数据的视觉预训练在最近几年取得了很大的进展，展示了在像素观察中进行机器人学习的巨大潜力。本文从三个基本角度（预训练数据集、模型架构和训练方法）深入研究了视觉预训练策略对机器人操作任务的影响，并提供了几个重要的实验发现，有益于机器人学习。此外，我们提出了一种用于机器人操作的视觉预训练方案，称为 Vi-PRoM，它结合了自监督学习和监督学习。具体而言，前者利用对比学习从大规模无标签数据中获取潜在模式，而后者旨在学习视觉语义和时间动态。在各种仿真环境和真实机器人中进行了大量实验证明了所提出方案的优越性。更多细节和视频可在 https://explore-pretrain-robot.github.io 找到。

Aug, 2023

本文提出了一种方法来解决复杂开放环境下机器人操作的问题，该方法基于先前训练的通用视觉模型作为感知系统的对象先验，并引入了一个基于对象的注意机制来确定相关对象，通过少数轨迹或演示将这些对象纳入学习策略，使用强化学习可以学习多种操作任务。

Aug, 2017

本研究通过收集儿童的第一人称图像来分析他们所接受到的训练数据，并就儿童如何通过手操作物体来控制所接受到的监督信号进行探究。实验结果表明，通过手控制监督信号比没有手的效果更好，并且即使只有少量图像可用，这种趋势是一致的。

Jun, 2019

本文提出了一种基于数据驱动的建模方法，利用深度生成模型学习目标定向的物体操作，采用视觉规划和视觉跟踪控制解决目标检测问题。

May, 2019

研究表明，预训练的视觉表示方法对于控制任务的学习同样有效，甚至在某些情况下可以优于基于真实状态的表示方法，而这些预训练模型仅需要使用标准视觉数据集，而不需要在目标环境中使用真实数据。

Mar, 2022

研究利用视觉先验在学习下游动作任务方面的帮助程度及其不使用的后果，通过在强化学习框架中整合感知技能集，探讨中级视觉如何提供比原始图像更加处理过的世界状态，从而实现更快、更好的学习和更高的终端性能，并通过计算导出任务不可知的一组优化的代表性来证明视觉表示不是适用于所有下游任务的普遍工具。

Dec, 2019

通过预测交互进行操纵的学习，提取可视化表示，并且在真实世界和仿真环境中实现了 10% 至 64% 的显著性改进。

Jun, 2024

本文旨在研究如何通过生成模型来让一个通用机器人学习视觉契合性的表征，以便于机器人可以在新环境中使用它的模型进行采样，进而进一步训练其策略从而达成其目标。这种做法可以被用于训练以原始图像输入为操作对象的目标编码策略，并可以通过我们提出的契合性导向探索机制快速地学习如何操作新对象。我们展示，通过五分钟的在线学习就可以在新场景下使用之前的数据训练机器人完成抽屉打开，抓取和放置的任务。

Jun, 2021

通过大规模视觉预训练探索提高机器人抓握性能的潜在益处，并对视觉预训练在机器人操纵中的关键挑战和未来研究方向进行了初步文献综述。

Jun, 2024