Language-Image Value learning (LIV) is used to pre-train a multi-modal representation for vision-language and reward learning, which can perform robotic control and reward specification in different environments using unseen robots or humans, and consistently outperforms the best prior input state representations and reward specification methods for policy synthesis.

Jun, 2023

通过一个基于视频的条件学习智能体（ViP）方法，本文提出了一种无需训练数据就能够通过人类演示来控制机器人操作的方法，该方法在多项机器人操作环境中的表现优于现有技术，并在新的零样本设置中展现出良好的性能，可能具有广泛的应用前景。

May, 2023

本研究通过开发一种基于时间差分学习的系统，在机器人离线增强学习中利用大规模人类视频数据集，展示了通过视频数据集进行价值学习相较于其他视频数据学习方法更具有推广性，并且与机器人多样化数据的离线增强学习方法结合，产生在操作任务中执行更好、更稳定和具有广泛泛化性能的价值函数和策略。

Sep, 2023

本研究提出了一种名为 VIPER 的算法，可以从未标记的视频中提取出训练模型，作为强化学习的无手段奖励信号，以实现专家级控制，在 Atari 和 RLBench 等任务中具有良好的通用性和扩展性。

May, 2023

通过对 15 个预训练视觉模型的性能比较，发现视觉出现分割能力是 ViT 模型在分布偏移下的强预测因子。在十个任务中进行广泛测试后，分割分数在离线训练和 50 次演示后预测了真实世界的性能。

Nov, 2023

提出了一种基于自我监督学习框架的方法，名为 Unified Self-supervised Visual Pre-training（UniVIP），通过采用三个层面的表示学习去解决单中心物体图像的限制以及场景中实例的关联等问题，在 COCO 数据集进行的实验表明，该方法在图像分类、半监督学习、目标检测和分割方面具有现在市场上领先的表现。同时 UniVIP 也能够应用于像 ImageNet 之类的单中心物体数据集并且取得更好的成果。

Mar, 2022

提出了一种自监督学习的方法，可以从多个视角拍摄的未标记视频中学习表征和机器人行为，能够用于机器人模仿人类的对象交互和身体姿势，训练该模型使用度量学习损失，使该模型能够发现在不同视角下发生变化但在时间域内不发生变化的属性，并可在强化学习算法中用作奖励函数。

Apr, 2017

大规模实证研究表明预训练视觉表示（PVRs）的使用对训练执行现实任务的下游策略非常有用，尤其在操作和室内导航任务中表现出明显的性能优势。

Oct, 2023

该研究探索了如何利用半监督式模仿学习的方法，在游戏领域中通过预训练行为先验模型来实现强化学习，从而达到人类甚至更高的行为水平。

Jun, 2022

提出了一种方法，可以通过基于价值函数估计的一系列观察结果来学习任务无关的表示，其中最后一帧对应于一个目标状态。这些表示将学习通过与目标状态的时序距离相关的不同任务之间的状态，无论外观变化和动力学如何。这种方法可以用于将学习的策略 / 技能转移到未见过的相关任务。

Dec, 2023