通过基于偏好的学习来学习奖励模型，并利用此模型对更高级别的重放缓冲区进行重新标记，以缓解现有层次化方法中常见的非稳态问题，并在各种具有挑战性的稀疏奖励任务中展现出令人印象深刻的性能。

Apr, 2024

在这篇论文中，我们介绍了一种名为 DIP-RL 的算法，它利用人类示范的方式以三种不同的方式来解决在结构不清晰和开放性环境中的任务，包括训练一个自动编码器、使用示范数据种子强化学习训练批次以及推断行为偏好以学习引导强化学习的奖励函数。我们在 Minecraft 中的砍树任务中评估了 DIP-RL，并且结果表明该算法可以引导强化学习代理学习到反映人类偏好的奖励函数，且在性能上相对于基准算法表现有竞争力。

Jul, 2023

本研究提出一种基于 Hierarchical Reinforcement Learning (HRL) 和 imitation learning 的算法，称为 primitive enabled adaptive relabeling (PEAR)，其首先对少量的 expert demonstrations 进行自适应 relabeling，以生成子目标监督数据集，然后采用 imitation learning 来规范化 HRL agents，此方法可以被轻松地集成到典型的 model free reinforcement learning 算法中以解决大多数机器人任务。

Jun, 2023

通过对人类偏好进行学习的强化学习（RLHF）部署依赖于两个重要的近似：第一个假设可以用点奖励替代成对偏好；第二个假设在这些点奖励上训练的奖励模型可以从策略采样的超出分布数据中进行泛化。最近，直接偏好优化（DPO）被提出作为一种绕过第二个近似并直接从收集到的数据中学习策略的方法。然而，该方法仍然严重依赖于第一个近似。本文尝试对这些实际算法进行更深入的理论理解。特别是，我们推导出一种新的称为 ΨPO 的通用目标，用成对偏好表示，从而绕过了两个近似。这个新的通用目标使我们能够对 RLHF 和 DPO 的行为进行深入分析（作为 ΨPO 的特殊情况），并确定它们的潜在缺陷。然后，我们通过将 Ψ 简单地设置为 Identity 来考虑 ΨPO 的另一种特殊情况，在此情况下，我们可以推导出一个有效的优化过程，证明其性能保证，并在一些示例中展示其在实证上优于 DPO。

Oct, 2023

该研究提出了 DemPref 框架，结合演示和偏好查询来学习奖励函数，其对标准偏好学习方法具有更高的效率和更好的性能。

Jun, 2019

本文提出了一种新的分层算法，通过生成可实现的子目标的课程来训练逐层递进的策略，通过在少量专家演示中使用基础解析方法进行数据重标注，得到了可以用于多数机器人控制任务的适用的逐层递进的强化学习算法，实验结果表明，课程学习可以显著提高分层强化学习的效率。

Apr, 2023

通过系统比较强化学习从人类反馈中学习的范例与最近提出的直接偏好优化范例，我们向更深入地理解从人类偏好中学习迈进了一步。我们集中关注对数线性策略参数化和线性奖励函数的类别。

Mar, 2024

本文提出了一种称为 DPO（Direct Preference Optimization）的算法来解决无监督语言模型中的可控性问题，并在实验中表明，相较于传统的 RLHF 方法，DPO 不仅表现更好，而且更加稳定和简单。

May, 2023

通过在一个学习好的世界模型的潜在空间 planning，我们引入了一种名叫 Director 的实用方法，直接从像素学习分层行为，无需手动指定目标空间或子任务，并在具有稀疏奖励的任务中表现超越了探索方法。

Jun, 2022

本文提出了一种新的分层强化学习算法 HiPPO，它可以根据新任务的训练不断调整技能并与更高层次一起训练，该算法引入了一个无偏差的潜变量依赖基准的分层策略梯度，并提出了一种训练时抽象方法，以提高所获得技能对环境变化的鲁棒性。

Jun, 2019