基于状态扩展的人类偏好强化学习方法

AAAIFeb, 2023

基于状态扩展的人类偏好强化学习方法

A State Augmentation based approach to Reinforcement Learning from Human Preferences

Mudit Verma, Subbarao Kambhampati

TL;DR本文提出了一种状态增强技术，利用二元反馈帮助人类进一步了解代理行为来学习奖励模型为强化学习提供更好的支持，并在三种任务领域 Mountain Car、Quadruped-Walk 和 Sweep-Into 中验证了其有效性。

Abstract

reinforcement learning has suffered from poor reward specification, and issues for reward hacking even in simple enough domains. Preference Based reinforcement learning attempts to solve the issue by utilizing bi

reinforcement learning preference-based reinforcement learning state augmentation reward model performance improvement

发现论文，激发创造

利用未标记的数据进行高效反馈的基于人类偏好的强化学习

本文提出了两个损失函数，利用未标记的轨迹集参与奖励学习过程，并结构化奖励模型的嵌入空间以反映状态空间与操作距离之间的结构，旨在提高样本效率和奖励恢复能力，该方法在基于机械臂操作的领域上比当前的最优算法 PEBBLE 表现更好。

Feb, 2023

基于数据驱动的奖励初始化偏好强化学习

本文研究了基于偏好的强化学习中初始奖励模型的高度变异性问题，并提出了一种数据驱动的奖励初始化方法，该方法不会增加人在环中的额外成本，同时只会对 PbRL 代理造成可忽略的成本，通过该方法初始化的奖励模型在状态空间中是均匀的，这减少了多次运行中方法性能的变异性，并且相对于其它初始方法提高了方法的整体性能。

Feb, 2023

具有动力学感知奖励的样本高效偏好强化学习

通过从代理行为的二进制反馈中学习到的动态感知奖励函数，我们展示了动态感知奖励函数如何使得偏好基础增强学习的采样效率提高一个数量级。通过迭代学习动态感知的状态 - 行动表示并从中引导基于偏好的奖励函数，我们实现了更快的策略学习和更好的最终策略性能。例如，在四足行走、行走者行走和猎豹奔跑中，在 50 个偏好标签的情况下，我们实现了与现有方法 500 个偏好标签相同的性能，并恢复了 83% 和 66% 的地面真实奖励策略性能，而它们分别只有 38% 和 21%。这些性能提升证明了明确学习动态感知奖励模型的好处。

Feb, 2024

超越人类偏好：通过 LLMs 探索强化学习轨迹的评估与改进

基于偏好的强化学习利用大型语言模型生成自动偏好数据，并通过重构奖励函数来优化强化学习训练，在复杂环境中加速收敛并提高效果。

Jun, 2024

人在环路强化学习的小样本偏好学习

使用多任务学习来实现基于人类反馈的强化学习，通过将偏好模型训练在以前的任务数据上，我们仅需要很少的查询就可以在 Meta-World 中训练出具有更好效果的机器人策略模型。

Dec, 2022

STRAPPER: 基于偏好的自我训练强化学习方法及同伴正则化

通过引入对等正则化的自训练方法，克服了偏好强化学习中的相似陷阱问题，并以不同的半监督替代方法和对等正则化学习了多种运动和机器人操作行为。

Jul, 2023

基于偏好的强化学习中的探索奖励不确定性

本文提出了基于学习奖励值的新颖探索方法来解决当前偏好型强化学习算法中人类反馈低效的问题，并在 MetaWorld 基准测试的复杂机器人操作任务中证明了其有效性。

May, 2022

多智体基于偏好的强化学习在人工智能团队合作中的基准测试

人机协作中基于偏好的强化学习 (PbRL) 是一个活跃的研究领域，并在单个代理人和观察者在环路场景中取得了显著的进展。然而，在人机合作的多代理强化学习框架中，在人类积极参与并表达对代理行为偏好的应用仍然是未知的。

Dec, 2023

深度强化学习从人类偏好中学习

本文研究了使用非专家人类偏好来定义复杂目标的强化学习系统的方法，并且证明此方法可实现许多复杂的强化学习任务，包括 Atari 游戏和模拟机器人，同时也大幅降低了人类监督成本，以及展示了本方法的灵活性，并可成功使用较短时间完成复杂的新颖行为的训练，同时也采用了前人的人类反馈信息和环境。

Jun, 2017

通过对齐的经验估计实现高效的基于偏好的强化学习

PbRL 方法 SEER 通过整合标签平滑和策略规则化技术，提高了反馈效率，取得了显著的性能优势。

May, 2024