在运动控制中预训练视觉模型中，策略学习方法并不平等

Apr, 2023

在运动控制中预训练视觉模型中，策略学习方法并不平等

For Pre-Trained Vision Models in Motor Control, Not All Policy Learning Methods are Created Equal

Yingdong Hu, Renhao Wang, Li Erran Li, Yang Gao

TL;DR研究了 14 个预先训练的视觉模型对 3 种不同类型的策略学习方法的影响，包括强化学习（RL）、通过行为克隆进行模仿学习（BC）和带有视觉奖励功能的模仿学习（VRF），结果表明预先训练的模型的有效性高度依赖于下游策略学习算法的选择。

Abstract

In recent years, increasing attention has been directed to leveraging pre-trained vision models for motor control. While existing works mainly emphasize the importance of this pre-training phase, the arguably equ

pre-trained vision models motor control policy learning reinforcement learning imitation learning

发现论文，激发创造

预训练视觉模型对控制的有效性不足为奇

研究表明，预训练的视觉表示方法对于控制任务的学习同样有效，甚至在某些情况下可以优于基于真实状态的表示方法，而这些预训练模型仅需要使用标准视觉数据集，而不需要在目标环境中使用真实数据。

Mar, 2022

大规模预训练视觉表示在模拟和真实环境中的研究：我们从中学到了什么？

大规模实证研究表明预训练视觉表示（PVRs）的使用对训练执行现实任务的下游策略非常有用，尤其在操作和室内导航任务中表现出明显的性能优势。

Oct, 2023

视觉先见：基于模型的深度强化学习在基于视觉的机器人控制中的应用

本文提出了一种实用于实际机器人任务 -- 如机器人操作 -- 的深度强化学习算法，并在无人监督的情况下使用自我监督的基于模型的方法来训练预测模型，通过选择指定像素、目标图像或图像分类器作为目标设定方法，探索实现前所未见的任务和物体的普遍泛化。

Dec, 2018

通过观看 YouTube 视频学习驾驶：动作条件对比策略预训练

本文提出了一种基于相反动态模型和对比策略预训练的方法来为自动驾驶任务预训练策略模型，使用未经筛选的 YouTube 视频作为数据源，显著提高了强化学习和模仿学习等下游任务的准确性和效率。

Apr, 2022

预训练视觉表示对稳健操控的成功因素

通过对 15 个预训练视觉模型的性能比较，发现视觉出现分割能力是 ViT 模型在分布偏移下的强预测因子。在十个任务中进行广泛测试后，分割分数在离线训练和 50 次演示后预测了真实世界的性能。

Nov, 2023

视觉 - 语言预训练模型综述

本文综述了视觉 - 语言预训练模型在多模态学习上的进展，介绍了编码图像、文本信息的方法，分析了模型中处理文本与图像交互的主流架构以及已有的预训练任务和下游任务，并提出了未来的研究方向。

Feb, 2022

使用中层视觉先验学习导航

研究利用视觉先验在学习下游动作任务方面的帮助程度及其不使用的后果，通过在强化学习框架中整合感知技能集，探讨中级视觉如何提供比原始图像更加处理过的世界状态，从而实现更快、更好的学习和更高的终端性能，并通过计算导出任务不可知的一组优化的代表性来证明视觉表示不是适用于所有下游任务的普遍工具。

Dec, 2019

面具视觉预训练用于运动控制

本文表明，来自真实世界图像的自监督视觉预训练对于从像素学习运动控制任务是有效的；为了加快像素学习的进展，本文还贡献了一套手工设计的基准任务，其中包括运动、场景和机器人等方面的变化。通过防冻度量的视觉编码器和强化学习，我们实现了与带标签、状态估计或专家演示相比高达 80% 的绝对成功率，有时甚至能与理论最好状态匹敌；还发现，来自 YouTube 或自我中心视频等野外图像，对于各种操作任务的视觉表现比 ImageNet 图像更好。

Mar, 2022

视觉与语言预训练

本篇研究综述了当下 Vision-and-Language 领域内的预训练模型，并归纳总结了相关预训练技术、训练集以及下游任务。同时，文章还讨论了未来研究的多个方向。

Jul, 2022

基于视觉的自主无人机赛车的深度感觉运动策略学习

通过学习深度的感知动作策略，使用对比学习从输入图像中提取固定特征表示，通过两阶段的作弊式学习框架训练神经网络策略，将视觉驱动的自主无人机竞赛问题转化为了提取原始图像的特征表示进行控制命令推断，无需全局一致的状态估计、轨迹规划和手工控制设计。该方法不仅可使控制策略更具有鲁棒性，而且可以实现与状态法相同的赛车性能，为开发纯靠图像输入控制无人机的智能视觉自主系统铺平了道路。

Oct, 2022