无需基准状态的强化学习

May, 2019

Reinforcement Learning without Ground-Truth State

Xingyu Lin, Harjatin Singh Baweja, David Held

TL;DR提出了一种简单的指示器奖励函数，以解决在连续状态空间中使用强化学习训练策略时无法基于高维观测指定奖励函数的挑战；并提出奖励平衡和奖励过滤两种方法，以进一步加速使用指示器奖励函数的模型的收敛速度，并展示了在无需知道地面实况的情况下从 RGB-D 图像中执行绳索操作等复杂任务的性能表现与使用地面实况的神谕方法的可比性。

Abstract

To perform robot manipulation tasks, a low-dimensional state of the environment typically needs to be estimated. However, designing a state estimator can sometimes be difficult, especially in environments with deformable objects. An alternative is to learn an end-to-end policy that map

robot manipulation state estimator reinforcement learning indicator reward function continuous state spaces

发现论文，激发创造

无需奖励工程的端到端机器人强化学习

本论文提出一种通过少量成功案例、以及主动请求用户进行标注来使机器人无需人工指定奖励函数以学习技能的方法，有效地避免了人工设计感知流水线或在环境中添加附加传感器等不便之处。我们通过实验验证了该方法的可行性，并证明该方法可使机器人从图像中直接学习知识，且仅需 1-4 个小时与实际世界进行交互。

Apr, 2019

基于观测的内部模型用于奖励塑造

本研究提出一种新的强化学习方法，即基于内部模型的奖励估计方法，通过预测给定专家状态分布的预测模型来估计奖励，进而直接从专家操作的视频中成功训练出良好的策略。

Jun, 2018

通过观察人类学习机器人操作的奖励函数

该研究通过使用未标注的人类操作视频来学习机器人操作策略的任务不可知奖励函数，并采用时间对比学习得到的嵌入空间中的距离以及直接时间回归来评分从而实现在各种任务上重复使用一个模型，从而能够在多个操纵任务上加速训练，而无需从机器人环境中获得先验数据，也无需使用特定于任务的人类演示数据。

Nov, 2022

无监督感知奖励用于模仿学习

利用深度模型学习中间视觉表示的抽象能力来从少量的演示序列中快速推断知觉奖励函数，以便在真实世界环境中使用强化学习智能体执行任务。

Dec, 2016

目标驱动的模仿学习

通过整合演示（demonstrations）的方法，本研究探讨如何加速强化学习的收敛速度，以达到能够到达任何目标的策略，并且在与其他模仿学习算法训练的代理相比表现更好。

Jun, 2019

从语言到目标：基于视觉的逆强化学习指令跟随

本研究探讨了使用反强化学习将语言命令作为奖励函数的问题，并提出了一种将语言命令作为深度神经网络表示的奖励函数的学习算法，即语言条件奖励学习（LC-RL）。实验结果表明，与直接学习语言条件策略相比，使用 LC-RL 学习的奖励可以更好地在新任务和环境中进行迁移。

Feb, 2019

无参判别奖励的无监督控制

本文提出了一种基于无人监督学习的算法，用于训练代理达成感知确定目标，通过学习目标条件化策略和目标实现奖励函数，代理人能够在没有手工奖励或专业数据的情况下掌握环境的控制方法。

Nov, 2018

逆向课程生成用于强化学习

本文提出了一种基于逆向强化学习的方法，用于训练机器人完成目标导向任务，该方法自动生成适应智能体表现的初始状态课程，即使面对目前最先进的强化学习方法无法解决的困难仿真导航和纤细操纵问题也可取得显著成果。

Jul, 2017

基于模拟运动演示的机器人操纵强化学习

本文提出了一种新的机器人操作方法，该方法利用了物体本身的运动学习，通过使用物理模拟器中的对象运动策略生成辅助奖励，称为模拟运动演示奖励（SLDRs），该方法可以在不需要人类演示或昂贵成本的情况下，通过强化学习来掌握机器人操作技能，从而实现多物体堆放和非刚性物体操作等任务的更高成功率和更快学习。

Oct, 2019

机器人学习中目标达成任务的恒定负奖励再探讨

实验对比了最短时间任务和密集奖励任务的奖励范式，发现最短时间任务规定不仅有助于学习更高质量的策略，而且在性能指标上也能超越基于密集奖励的策略。关键是，我们还确定了初始策略的目标达成率在稀疏反馈设置中是学习成功的一个稳健的早期指标。最后，我们利用四个不同的真实机器人平台展示了使用常数负奖励在两到三小时内可以从头开始学习基于像素的策略。

Jun, 2024