Jun, 2024

不需要奖励推断的人类反馈强化学习：无模型算法与实例相关分析

HTML
PDF
TL;DR通过开发一种无模型的强化学习方法，本研究以人类反馈为基础，通过对动作进行对抗性竞争，提出了一个可直接从人类偏好信息中识别最佳策略的 RLHF 算法，证明了在样本复杂度方面 RLHF 并不比传统强化学习更困难，并且通过规避奖励推断中的问题，如过拟合和分布偏移，可能提供改进的性能。
发现论文，激发创造
  • 基于成对或K个比较的人类反馈的有原则强化学习

    我们提供了一个针对具有人类反馈的强化学习(RLHF)的理论框架。通过分析我们发现当真实奖励函数是线性的时候，最大似然估计器(MLE)在Bradley-Terry-Luce (BTL)模型和Plackett-Luce(PL)模型下都能收敛。然而，我们表明，在基于学习的奖赏模型的策略时，MLE失败，而一种悲观的MLE在某些涵盖假设下提供了改进的性能策略。此外，我们证明在PL模型下，真实MLE和一个将K路比较分成两两比较的替代MLE都会收敛。此外，真实MLE渐近地更有效。我们的结果验证了现有RLHF算法在InstructGPT上的实证成功，并为算法设计提供了新的见解。此外，我们的结果统一了RLHF问题和max-entropy Inverse Reinforcement Learning(IRL)问题，并为max-entropy IRL提供了第一个样本复杂度上界。

    Jan, 2023

  • 如何在强化学习中高效地查询人类反馈？

    研究提出了一种有效的轨迹对采样方法，用于探索隐藏的奖励函数，以便在收集人类反馈之前准确地学习，比现有文献更少地需要人类反馈量来学习基于偏好模型的最优策略，可以考虑线性和低秩MDP

    May, 2023

  • RLHF是否比标准RL更困难？

    这篇文章证明了，对于广泛的偏好模型，我们可以使用现有的算法和技术，直接解决基于偏好的强化学习问题，具有小的或没有额外成本。

    Jun, 2023

  • 对比偏好学习：无需 RL 的人类反馈学习

    使用最大熵原理，引入了一种从人类反馈中优化行为的新型算法Contrastive Preference Learning (CPL)，该算法能够在不学习奖励函数的情况下，通过偏好学习最优策略，克服了优化挑战并能应用于任意MDPs环境。

    Oct, 2023

  • 基于主动探索的样本有效强化学习来自人类反馈

    利用基于偏好的反馈为增强学习中的许多应用程序提供重要支持，本研究通过离线情境决斗机制问题的算法和多项式最坏情况遗憾边界，提供了一种在人类反馈训练大型语言模型中有效识别良好策略的方法，并在三个实际数据集上通过较少的人类偏好样本取得更好的性能。

    Dec, 2023

  • 强化学习与人类反馈调查

    深入探讨人机交互技术中基于人类反馈的强化学习（RLHF）的基本原理、应用及其研究趋势。

    Dec, 2023

  • RLHF中部分观测的奖励状态框架

    通过模型化部分观察到的奖励状态对强化学习从人类反馈中进行建模，并通过减少基于人类反馈的两种主要形式（基数反馈和对战反馈）到部分观测到的奖励状态强化学习的归约，来提出了有效的统计算法。

    Feb, 2024

  • 奖励模型学习与直接策略优化：从人类偏好中学习的比较分析

    通过系统比较强化学习从人类反馈中学习的范例与最近提出的直接偏好优化范例，我们向更深入地理解从人类偏好中学习迈进了一步。我们集中关注对数线性策略参数化和线性奖励函数的类别。

    Mar, 2024

  • RLHF 揭示：对于LLMs的强化学习从人类反馈的关键分析

    通过强化学习原理的角度分析了强化学习来自人类反馈的语言模型的基础，重点关注了奖励模型作为RLHF核心组件的建模选择、函数逼近的陷阱，以及它们对训练算法的影响，同时揭示了当前方法的局限性。通过对现有文献的分类评论，我们对RLHF的挑战进行了描述，为研究人员和从业者理解RLHF的挑战并建立在现有研究的基础上提供参考。

    Apr, 2024

  • 无奖励推断的人类反馈强化学习的零阶策略梯度

    该研究解决了在人类反馈强化学习过程中，奖励推断面临的多个挑战，包括双重问题误设定和奖励模型评估困难。论文提出了两种无需奖励推断的强化学习算法，利用人类偏好估计本地价值函数差异，从而为更一般的强化学习问题提供了有效的解决方案。研究结果表明，无奖励推断的有效方法确实存在，从而可能对大规模语言模型的训练产生重大影响。

    Sep, 2024