AAAIFeb, 2023

基于数据驱动的奖励初始化偏好强化学习

PDF
TL;DR本文研究了基于偏好的强化学习中初始奖励模型的高度变异性问题，并提出了一种数据驱动的奖励初始化方法，该方法不会增加人在环中的额外成本，同时只会对 PbRL 代理造成可忽略的成本，通过该方法初始化的奖励模型在状态空间中是均匀的，这减少了多次运行中方法性能的变异性，并且相对于其它初始方法提高了方法的整体性能。
preference-based reinforcement learningreward modelinitialized reward modelsdata-driven reward initializationperformance improvement
发现论文，激发创造
  • 基于状态扩展的人类偏好强化学习方法

    本文提出了一种状态增强技术，利用二元反馈帮助人类进一步了解代理行为来学习奖励模型为强化学习提供更好的支持，并在三种任务领域 Mountain Car、Quadruped-Walk 和 Sweep-Into 中验证了其有效性。

    Feb, 2023

  • 符号引导下基于事后先验的从人类偏好中学习奖励

    本文研究强化学习中的奖励函数的学习，提出了利用先验知识和偏好数据约束奖励函数的 PRIOR 框架，可以降低 50% 的反馈数量并提高奖励函数学习和代理性能。

    Oct, 2022

  • 具有动力学感知奖励的样本高效偏好强化学习

    通过从代理行为的二进制反馈中学习到的动态感知奖励函数，我们展示了动态感知奖励函数如何使得偏好基础增强学习的采样效率提高一个数量级。通过迭代学习动态感知的状态 - 行动表示并从中引导基于偏好的奖励函数，我们实现了更快的策略学习和更好的最终策略性能。例如，在四足行走、行走者行走和猎豹奔跑中，在 50 个偏好标签的情况下，我们实现了与现有方法 500 个偏好标签相同的性能，并恢复了 83% 和 66% 的地面真实奖励策略性能，而它们分别只有 38% 和 21%。这些性能提升证明了明确学习动态感知奖励模型的好处。

    Feb, 2024

  • 利用未标记的数据进行高效反馈的基于人类偏好的强化学习

    本文提出了两个损失函数，利用未标记的轨迹集参与奖励学习过程，并结构化奖励模型的嵌入空间以反映状态空间与操作距离之间的结构，旨在提高样本效率和奖励恢复能力，该方法在基于机械臂操作的领域上比当前的最优算法 PEBBLE 表现更好。

    Feb, 2023

  • 超越人类偏好：通过 LLMs 探索强化学习轨迹的评估与改进

    基于偏好的强化学习利用大型语言模型生成自动偏好数据，并通过重构奖励函数来优化强化学习训练，在复杂环境中加速收敛并提高效果。

    Jun, 2024

  • 基于人类偏好和步骤级解释的训练偏好驱动强化学习

    人在环路强化学习中提供了一种可以让非专家用户通过各种界面进行训练的方法。我们提出了一种新的基于偏好的学习方法，为人们提供了更富表现力的界面，以便其表达对轨迹的偏好，并提供了解释以提高学习速度。

    May, 2024

  • STRAPPER: 基于偏好的自我训练强化学习方法及同伴正则化

    通过引入对等正则化的自训练方法，克服了偏好强化学习中的相似陷阱问题，并以不同的半监督替代方法和对等正则化学习了多种运动和机器人操作行为。

    Jul, 2023

  • 基于人类偏好的奖励学习中基于先见性 L2 正则化

    通过引入一种赋分策略（Hindsight PRIOR），将状态重要性纳入奖励学习中，可以改善策略学习速度、整体性能和奖励恢复，在元世界（20%）和 DMC（15%）的运动和操纵任务上平均恢复了更多奖励，这表明赋分策略对奖励学习有很大的益处，并且状态重要性在前向动力学预测中是决策偏好的强有力指标。

    Apr, 2024

  • 具有偏好反馈的差分隐私奖励估计

    本研究探讨了在保护个体标注者隐私的同时，通过偏好反馈来估计奖励模型的问题，使用了基于参数的 Bradley-Terry-Luce (BTL) 模型，提供了关于奖励参数估计误差的上下界，以及在本地模型和中央模型下确保标签 - 隐私所需的额外成本，仿真结果验证了理论结果。

    Oct, 2023

  • 增强偏好驱动的强化学习中的鲁棒性：动态稀疏性提升

    为了在人类中心环境中成功融入自主代理，代理应该能够从人类的本地环境中学习和适应。基于偏好的强化学习 (PbRL) 是一种能够从人类偏好中学习奖励函数的有希望的方法，使得强化学习代理能够根据人类的欲望来调整其行为。然而，人类生活在一个充满各种信息的世界中，其中大部分与完成特定任务无关。本工作提出了第一个利用动态稀疏训练原理学习健壮奖励模型并能够专注于任务相关特征的 PbRL 算法 R2N (Robust-to-Noise)。我们在极其嘈杂的环境设置中研究了 R2N 的有效性，该环境中高达 95% 的状态特征都是干扰项。通过与模拟教师的实验，我们证明了 R2N 能够调整其神经网络的稀疏连接性以专注于任务相关特征，在多个运动和控制环境中明显优于几种最先进的 PbRL 算法。

    Jun, 2024