Sep, 2024

多类型偏好学习：利用均等偏好的偏好基础强化学习

HTML
PDF
TL;DR本研究解决了现有偏好基础强化学习(PBRL)方法忽视教师可能选择均等偏好的问题，导致对任务理解的不足。通过引入均等偏好学习任务并提出新方法多类型偏好学习（MTPL），同时从均等偏好和显性偏好中学习，从而提高对教师反馈的理解和反馈效率。实验结果表明，MTPL使PBRL在多个人类反馈任务中表现出更强的学习能力。
发现论文，激发创造
  • Preference Transformer：使用 Transformers 模拟人类偏好的 RL 建模

    研究了基于偏好的强化学习应用于人类决策，使用transformer建立时间依赖的偏好模型，在控制任务上成功训练，对人类决策的时间依赖可以自动捕捉。

    Mar, 2023

  • 逆向偏好学习：无奖励函数的基于偏好的强化学习

    提出了一种名为Inverse Preference Learning（IPL）的新算法，用于从离线偏好数据中学习奖励函数，该算法使用Q函数来代替学习得到的奖励函数，具有更高的参数效率和更少的算法超参数和学习网络参数。

    May, 2023

  • 深度强化学习基于层次性弱偏好反馈

    通过排列的方式学习奖励函数，本研究提出了一个新的强化学习框架-HERON，通过比较轨迹并使用决策树进行优先级排序来训练基于偏好的奖励模型，从而在处理复杂任务时减少了人工成本同时提高了性能。

    Sep, 2023

  • 对比偏好学习：无需 RL 的人类反馈学习

    使用最大熵原理，引入了一种从人类反馈中优化行为的新型算法Contrastive Preference Learning (CPL)，该算法能够在不学习奖励函数的情况下，通过偏好学习最优策略，克服了优化挑战并能应用于任意MDPs环境。

    Oct, 2023

  • RIME：基于噪声偏好的鲁棒化基于优先级的强化学习

    通过使用人类偏好作为奖励信号，基于偏好的强化学习（PbRL）避免了对奖励设计的需求。然而，当前的PbRL算法过于依赖领域专家的高质量反馈，导致鲁棒性不足。本文提出RIME，一种从嘈杂偏好中有效学习奖励的鲁棒PbRL算法。我们的方法结合了基于样本选择的鉴别器，动态过滤去噪偏好以进行鲁棒训练。为了减轻由于错误选择引起的积累误差，我们建议热启动奖励模型，从而在从预训练到在线训练的过渡中弥合性能差距。我们在机器人操作和运动任务上的实验证明，RIME显著提高了当前最先进的PbRL方法的鲁棒性。消融研究进一步证明了热启动对于有限反馈情况下的鲁棒性和反馈效率都至关重要。

    Feb, 2024

  • 具有动力学感知奖励的样本高效偏好强化学习

    通过从代理行为的二进制反馈中学习到的动态感知奖励函数，我们展示了动态感知奖励函数如何使得偏好基础增强学习的采样效率提高一个数量级。通过迭代学习动态感知的状态-行动表示并从中引导基于偏好的奖励函数，我们实现了更快的策略学习和更好的最终策略性能。例如，在四足行走、行走者行走和猎豹奔跑中，在50个偏好标签的情况下，我们实现了与现有方法500个偏好标签相同的性能，并恢复了83%和66%的地面真实奖励策略性能，而它们分别只有38%和21%。这些性能提升证明了明确学习动态感知奖励模型的好处。

    Feb, 2024

  • 基于人类偏好和步骤级解释的训练偏好驱动强化学习

    人在环路强化学习中提供了一种可以让非专家用户通过各种界面进行训练的方法。我们提出了一种新的基于偏好的学习方法，为人们提供了更富表现力的界面，以便其表达对轨迹的偏好，并提供了解释以提高学习速度。

    May, 2024

  • 基于变分偏好学习的人类反馈个性化强化学习

    本研究解决了现有强化学习人类反馈（RLHF）方法无法处理个体偏好差异的问题。我们提出了一种新颖的多模态RLHF方法，通过推断用户特定的潜在变量来定制奖励模型和策略，实现个性化学习。实验证明，该方法在不同用户群体中有效提高了奖励函数的准确性，并在处理不确定性和积极学习用户偏好方面表现出显著优势。

    Aug, 2024

  • S-EPOA：通过技能驱动的基于偏好的强化学习克服注释不可分性

    本研究解决了传统基于偏好的强化学习中注释不可分性的问题。提出的技能增强偏好优化算法（S-EPOA）通过将技能机制整合到偏好学习框架中，从而改进了学习效率和鲁棒性。实验结果表明，与传统方法相比，S-EPOA在机器人操控和行走等任务上具有显著优势。

    Aug, 2024

  • 基于偏好的强化学习进展：综述

    该研究解决了强化学习中对准确设计奖励函数的依赖问题，通过利用人类偏好作为反馈，提升学习效率。论文提出了一个统一的基于偏好的强化学习框架，并详细审视了理论保证及实际应用，指出了当前研究的局限性及未来研究方向。该工作有助于推动基于偏好的强化学习在复杂任务中的应用及发展。

    Aug, 2024