机器人的精细调整简化：自主现实世界强化学习的预训练奖励和策略

Oct, 2023

机器人的精细调整简化：自主现实世界强化学习的预训练奖励和策略

Robot Fine-Tuning Made Easy: Pre-Training Rewards and Policies for Autonomous Real-World Reinforcement Learning

Jingyun Yang, Max Sobol Mark, Brandon Vu, Archit Sharma, Jeannette Bohg...

TL;DR通过使用预训练和微调范式，我们引入 RoboFuME 系统，利用网络上的数据和模型，允许机器人在几乎没有人工干预的情况下学习新任务，并通过利用校准的离线强化学习技术和预训练的视觉语言模型构建健壮的奖励分类器，在线进行微调并提供奖励信号，从而达到最小化人工干预的目标。在五个真实机器人操作任务和模拟实验中，我们的方法表现出色。

Abstract

The pre-train and fine-tune paradigm in machine learning has had dramatic success in a wide range of domains because the use of existing data or pre-trained models on the internet enables quick and easy learning of new tasks. We aim to enable this paradigm in →

pre-train and fine-tune paradigm robotic reinforcement learning robofume offline reinforcement learning techniques pre-trained vision language models (vlms)

发现论文，激发创造

永远不止于学习：机器人强化学习中微调的有效性

本论文提出了一种通过强化学习进行增量式 fine-tuning 的方法，可以有效地将图像为基础的机器人操作策略适应到新的环境、物体和感知中，在不到数据学习任务的 0.2％的情况下实现适应，这种方式可以大幅提高任务的性能表现，并且在连续学习场景下仍保持一致稳定。

Apr, 2020

在真实环境中微调离线世界模型

通过使用离线数据集在真实机器人上对世界模型进行预训练，然后通过使用学习模型进行在线数据集的规划和微调，本文试图解决强化学习在真实机器人上训练时的数据效率问题，以及模型在训练和推理过程中的分布偏移问题，该方法在模拟环境和真实机器人上的视觉 - 动作控制任务上进行了验证，发现即使离线数据有限，该方法也能实现对已知和未知任务的少次数微调。

Oct, 2023

MOTO：基于模型的机器人学习的离线预训练与在线微调

我们研究了离线预训练和在线微调在实际机器人任务中从高维观测中进行强化学习的问题，通过控制认知不确定性，我们提出一种基于模型的方法，通过模型值扩展和策略规范化高效地重用先前数据，成功从像素中解决了 MetaWorld 基准和 Franka Kitchen 机器人操作环境任务，据我们所知，这是第一种从像素中解决此环境的方法。

Jan, 2024

微调与元强化学习的有效性比较

本文研究使用 meta - 强化学习方法来完成多个视觉基准测试，在评估这些方法时，我们发现在不同的任务上，多任务预训练加微调的性能相当甚至更好，这与使用 meta-pretraining 和 meta test-time adaptation 的表现相当。因此我们建议在未来的 meta-RL 中加入更具挑战性的任务以及多任务预训练和微调作为更简单，强大的基线。

Jun, 2022

通过价值函数预训练的互联网视频机器人离线强化学习

本研究通过开发一种基于时间差分学习的系统，在机器人离线增强学习中利用大规模人类视频数据集，展示了通过视频数据集进行价值学习相较于其他视频数据学习方法更具有推广性，并且与机器人多样化数据的离线增强学习方法结合，产生在操作任务中执行更好、更稳定和具有广泛泛化性能的价值函数和策略。

Sep, 2023

深度视觉预见性规划机器人动作

本论文提出一种基于无标注训练数据的方法，结合深度动作条件视频预测模型和模型预测控制，使真实机器人能够进行非抓取操作，比如推动物体，并且可以处理训练过程中没有出现过的新物体。

Oct, 2016

异步人类反馈下的自主机器人强化学习

实现自主学习的算法对于在真实环境中的机器人来说一直是个挑战，但本研究描述了一个实际的强化学习系统，通过在真实环境中进行训练，并借助人类的反馈来实现不间断的改进。该系统在不需要设计奖励函数或重置机制的情况下，通过自我监督学习算法和人类反馈产生的信息来指导探索和筛选学习策略。在模拟环境和真实世界中的机器人任务上的评估结果表明，该系统能够有效地学习行为。

Oct, 2023

继续学习的腿式机器人：在现实世界中微调运动策略

该论文提出了一种基于强化学习的实际机器人强化学习系统，通过在现实世界中微调机器人运动策略的少量训练，实现了 A1 四足机器人在多种环境中自主微调多种运动技能的能力。

Oct, 2021

离线学习目标条件策略：自监督奖励塑形

在机器人领域，通过从离线数据集中学习实现多项技能的智能体是一个重要问题。本文提出了在自监督学习阶段对预先收集的数据集进行处理以理解模型的结构和动态，并对离线学习的策略进行强化学习的方法。我们在三个连续控制任务上评估了我们的方法，并展示了我们的模型在特别是涉及长期规划任务上明显优于现有方法。

Jan, 2023

无需奖励工程的端到端机器人强化学习

本论文提出一种通过少量成功案例、以及主动请求用户进行标注来使机器人无需人工指定奖励函数以学习技能的方法，有效地避免了人工设计感知流水线或在环境中添加附加传感器等不便之处。我们通过实验验证了该方法的可行性，并证明该方法可使机器人从图像中直接学习知识，且仅需 1-4 个小时与实际世界进行交互。

Apr, 2019