Jan, 2023

基于成对或K个比较的人类反馈的有原则强化学习

HTML
PDF
TL;DR我们提供了一个针对具有人类反馈的强化学习(RLHF)的理论框架。通过分析我们发现当真实奖励函数是线性的时候，最大似然估计器(MLE)在Bradley-Terry-Luce (BTL)模型和Plackett-Luce(PL)模型下都能收敛。然而，我们表明，在基于学习的奖赏模型的策略时，MLE失败，而一种悲观的MLE在某些涵盖假设下提供了改进的性能策略。此外，我们证明在PL模型下，真实MLE和一个将K路比较分成两两比较的替代MLE都会收敛。此外，真实MLE渐近地更有效。我们的结果验证了现有RLHF算法在InstructGPT上的实证成功，并为算法设计提供了新的见解。此外，我们的结果统一了RLHF问题和max-entropy Inverse Reinforcement Learning(IRL)问题，并为max-entropy IRL提供了第一个样本复杂度上界。
发现论文，激发创造
  • 通过主动奖励学习实现证明反馈高效强化学习

    本文提供一种以人类在强化学习中的角色为基础的算法框架，旨在从理论角度解决设计有效的奖励函数的问题。我们提供了一种主动学习的RL算法，通过仅在某些状态动作对上询问少量关于任务奖励的问题，保证以高概率提供几乎最优的任务策略。

    Apr, 2023

  • RLHF是否比标准RL更困难？

    这篇文章证明了，对于广泛的偏好模型，我们可以使用现有的算法和技术，直接解决基于偏好的强化学习问题，具有小的或没有额外成本。

    Jun, 2023

  • 深度强化学习基于层次性弱偏好反馈

    通过排列的方式学习奖励函数，本研究提出了一个新的强化学习框架-HERON，通过比较轨迹并使用决策树进行优先级排序来训练基于偏好的奖励模型，从而在处理复杂任务时减少了人工成本同时提高了性能。

    Sep, 2023

  • 对比偏好学习：无需 RL 的人类反馈学习

    使用最大熵原理，引入了一种从人类反馈中优化行为的新型算法Contrastive Preference Learning (CPL)，该算法能够在不学习奖励函数的情况下，通过偏好学习最优策略，克服了优化挑战并能应用于任意MDPs环境。

    Oct, 2023

  • 强化学习与人类反馈调查

    深入探讨人机交互技术中基于人类反馈的强化学习（RLHF）的基本原理、应用及其研究趋势。

    Dec, 2023

  • RLHF中部分观测的奖励状态框架

    通过模型化部分观察到的奖励状态对强化学习从人类反馈中进行建模，并通过减少基于人类反馈的两种主要形式（基数反馈和对战反馈）到部分观测到的奖励状态强化学习的归约，来提出了有效的统计算法。

    Feb, 2024

  • 奖励模型学习与直接策略优化：从人类偏好中学习的比较分析

    通过系统比较强化学习从人类反馈中学习的范例与最近提出的直接偏好优化范例，我们向更深入地理解从人类偏好中学习迈进了一步。我们集中关注对数线性策略参数化和线性奖励函数的类别。

    Mar, 2024

  • RLHF 揭示：对于LLMs的强化学习从人类反馈的关键分析

    通过强化学习原理的角度分析了强化学习来自人类反馈的语言模型的基础，重点关注了奖励模型作为RLHF核心组件的建模选择、函数逼近的陷阱，以及它们对训练算法的影响，同时揭示了当前方法的局限性。通过对现有文献的分类评论，我们对RLHF的挑战进行了描述，为研究人员和从业者理解RLHF的挑战并建立在现有研究的基础上提供参考。

    Apr, 2024

  • 不需要奖励推断的人类反馈强化学习：无模型算法与实例相关分析

    通过开发一种无模型的强化学习方法，本研究以人类反馈为基础，通过对动作进行对抗性竞争，提出了一个可直接从人类偏好信息中识别最佳策略的 RLHF 算法，证明了在样本复杂度方面 RLHF 并不比传统强化学习更困难，并且通过规避奖励推断中的问题，如过拟合和分布偏移，可能提供改进的性能。

    Jun, 2024

  • 无奖励推断的人类反馈强化学习的零阶策略梯度

    该研究解决了在人类反馈强化学习过程中，奖励推断面临的多个挑战，包括双重问题误设定和奖励模型评估困难。论文提出了两种无需奖励推断的强化学习算法，利用人类偏好估计本地价值函数差异，从而为更一般的强化学习问题提供了有效的解决方案。研究结果表明，无奖励推断的有效方法确实存在，从而可能对大规模语言模型的训练产生重大影响。

    Sep, 2024