通过对 15 个预训练视觉模型的性能比较，发现视觉出现分割能力是 ViT 模型在分布偏移下的强预测因子。在十个任务中进行广泛测试后，分割分数在离线训练和 50 次演示后预测了真实世界的性能。

Nov, 2023

本文提出一种名为离线视觉表示学习的方法，通过使用自监督学习在大规模图片数据上进行离线预训练，再在线微调特定任务中的视觉运动表示，并在多个数据集上进行了实验，发现该方法在图像导航和目标导航任务上均取得了显著的性能提升。

Apr, 2022

基于大规模真实世界数据的视觉预训练在最近几年取得了很大的进展，展示了在像素观察中进行机器人学习的巨大潜力。本文从三个基本角度（预训练数据集、模型架构和训练方法）深入研究了视觉预训练策略对机器人操作任务的影响，并提供了几个重要的实验发现，有益于机器人学习。此外，我们提出了一种用于机器人操作的视觉预训练方案，称为 Vi-PRoM，它结合了自监督学习和监督学习。具体而言，前者利用对比学习从大规模无标签数据中获取潜在模式，而后者旨在学习视觉语义和时间动态。在各种仿真环境和真实机器人中进行了大量实验证明了所提出方案的优越性。更多细节和视频可在 https://explore-pretrain-robot.github.io 找到。

Aug, 2023

该研究是关于预先训练视觉表示（PVRs）或视觉基础模型在具体应用中的最全面的实证研究。研究发现，尽管数据规模和多样性通常能提高性能，但是没有任何一种 PVR 可以普遍占优。然而，通过对 VC-1 进行特定任务适应性的调整，可在 CortexBench 的所有基准测试中实现与最佳结果相当或更好的性能表现。

Mar, 2023

本文介绍了一种基于对抗特征调整模型的 3D 室内导航机器人训练方法，通过视觉特征的转换与行为策略的模仿来提高机器人在真实环境中的表现。实验证明该方法能够在不需要额外人工注释的情况下，比基线方法表现提高 19.47%。

Apr, 2019

研究表明，预训练的视觉表示方法对于控制任务的学习同样有效，甚至在某些情况下可以优于基于真实状态的表示方法，而这些预训练模型仅需要使用标准视觉数据集，而不需要在目标环境中使用真实数据。

Mar, 2022

数据驱动方法在机器人控制领域迅速发展，然而对未知任务领域的泛化仍然是一个关键挑战。我们认为泛化的关键在于具备足够丰富的表示以捕捉所有任务相关信息，并且对于训练与测试领域之间的无关变异具有不变性。我们实验研究了这样一种富含深度和语义信息的表示，用于视觉导航，并证明它使得完全在模拟室内场景中训练的控制策略能够泛化到多样的现实环境，包括室内和室外。此外，我们还展示了我们的表示减小了训练和测试领域之间的 A - 距离，从而改善了泛化误差的上界。我们提出的方法是可扩展的：随着基础模型在预训练期间吸收更多多样数据，学习策略会持续改进。

Oct, 2023

通过对机器人的预训练数据集进行集中分析，我们发现常规视觉数据集对于视觉 - 运动表示学习是竞争力强的选择，此外，预训练数据集的图像分布比其规模更为重要，同时简单的正规化策略可以显著改善真实世界策略学习。

Oct, 2023

本文提出了一种新颖的方法来解决从模拟环境到真实世界的深度强化学习策略传输问题，通过在部署阶段将真实世界的图像流翻译回合成域来解决这个问题，同时提出了一种不受下游任务影响的简单而有效的位移损失以及在室内和室外机器人实验中验证了我们的视觉控制方法。

Feb, 2018

本文探讨在模拟环境中学习机器人操作策略的方法，通过使用深度图像数据的随机扩增策略，实现了在非真实场景下学习并获得了验证。

Mar, 2019