Oct, 2022

符号引导下基于事后先验的从人类偏好中学习奖励

PDF
TL;DR本文研究强化学习中的奖励函数的学习，提出了利用先验知识和偏好数据约束奖励函数的 PRIOR 框架，可以降低 50% 的反馈数量并提高奖励函数学习和代理性能。
reinforcement learningreward functionpreference-based learningtrajectoryabstract state space
发现论文，激发创造
  • 基于人类偏好的奖励学习中基于先见性 L2 正则化

    通过引入一种赋分策略（Hindsight PRIOR），将状态重要性纳入奖励学习中，可以改善策略学习速度、整体性能和奖励恢复，在元世界（20%）和 DMC（15%）的运动和操纵任务上平均恢复了更多奖励，这表明赋分策略对奖励学习有很大的益处，并且状态重要性在前向动力学预测中是决策偏好的强有力指标。

    Apr, 2024

  • 高效强化学习的行为先验

    本文介绍了如何使用概率建模与信息结构约束相结合的方法来学习行为先验，并将其有效地整合到强化学习框架中，以实现多任务与转移学习。最后通过在一系列仿真连续控制域上的应用来展示该框架的有效性。

    Oct, 2020

  • 基于数据驱动的奖励初始化偏好强化学习

    本文研究了基于偏好的强化学习中初始奖励模型的高度变异性问题，并提出了一种数据驱动的奖励初始化方法，该方法不会增加人在环中的额外成本，同时只会对 PbRL 代理造成可忽略的成本，通过该方法初始化的奖励模型在状态空间中是均匀的，这减少了多次运行中方法性能的变异性，并且相对于其它初始方法提高了方法的整体性能。

    Feb, 2023

  • 软动作先验：实现强化学习中的稳健策略转移

    通过引入动作先验，结合奖励整形和辅助正则化损失的方法，该论文提出了一种适应性算法，可以高效地利用先验知识，特别是软动作先验，取得了在 Reinforcement Learning 问题上的最新成果和深度 RL 的鲁棒性改进。

    Sep, 2022

  • 超越人类偏好：通过 LLMs 探索强化学习轨迹的评估与改进

    基于偏好的强化学习利用大型语言模型生成自动偏好数据，并通过重构奖励函数来优化强化学习训练，在复杂环境中加速收敛并提高效果。

    Jun, 2024

  • 在线根据离线偏好进行政策学习

    通过整合离线偏好和虚拟偏好，将离线数据和学习代理的行为进行比较，从而加强了基于偏好的强化学习中的奖励函数对代理行为的指导，提高了其泛化能力。

    Mar, 2024

  • 使用 RL 和基于记忆片段的行为先验进行规划

    本文提出了一种规划方法，使用行为先验知识帮助增强学习中的有效探索和学习，表明探索策略形式的行为先验可以帮助代理更快地学习。

    Jul, 2022

  • 通过元反强化学习学习意图的先验知识

    本文通过学习先验 (prior) 函数从其他任务的演示中推断奖励函数 (reward functions)，以优化从有限的演示中推断表达丰富的奖励函数的能力，并演示了该方法可以有效地从图像中恢复新任务的奖励。

    May, 2018

  • 鹦鹉：数据驱动的强化学习行为先验

    本论文提出了一种用于预训练行为先验的方法，以便捕捉先前看到的各种任务中观察到的复杂输入输出关系，并展示了如何使用这种学习到的先验以便快速学习新任务，有效地解决了具有挑战性的机器人操纵领域中的问题。

    Nov, 2020

  • 众智强化学习：基于众智的奖励学习

    在这项研究中，我们介绍了 Crowd-PrefRL，一个利用群体反馈进行基于偏好的强化学习的框架，该框架可以从未知专长和可靠性的群体中学习奖励函数，并且在大多数情况下，比倾向多数或任何个体用户提供的偏好的训练代理要好，尤其是当群体中用户错误率的分布较大时。

    Jan, 2024