基于主动探索的样本有效强化学习来自人类反馈

Dec, 2023

基于主动探索的样本有效强化学习来自人类反馈

Sample Efficient Reinforcement Learning from Human Feedback via Active Exploration

Viraj Mehta, Vikramjeet Das, Ojash Neopane, Yijia Dai, Ilija Bogunovic...

TL;DR利用基于偏好的反馈为增强学习中的许多应用程序提供重要支持，本研究通过离线情境决斗机制问题的算法和多项式最坏情况遗憾边界，提供了一种在人类反馈训练大型语言模型中有效识别良好策略的方法，并在三个实际数据集上通过较少的人类偏好样本取得更好的性能。

Abstract

preference-based feedback is important for many applications in reinforcement learning where direct evaluation of a reward function is not feasible. A notable recent example arises in reinforcement learning from

preference-based feedback reinforcement learning rlhf contextual dueling bandit problem large language models

发现论文，激发创造

基于核函数的离线上下文对抗波动策略

在这项研究中，我们利用代理人能够选择获取人工反馈的上下文的事实，引入了离线情境对决贝叶斯臂设置，提出了一种基于上置信界的算法，并证明了一种遗憾上界。实验证实了该方法胜过使用均匀采样上下文的类似策略。

Jul, 2023

如何在强化学习中高效地查询人类反馈？

研究提出了一种有效的轨迹对采样方法，用于探索隐藏的奖励函数，以便在收集人类反馈之前准确地学习，比现有文献更少地需要人类反馈量来学习基于偏好模型的最优策略，可以考虑线性和低秩 MDP

May, 2023

通过积极查询进行人类反馈强化学习

提出了一种基于主动学习的 RLHF 方法，通过半数查询获得与最先进的 DPO 方法相当的性能。

Feb, 2024

在线强盗学习伴随离线偏好数据

采用有限臂线性赌博机模型作为在线学习的典型模型，通过建模生成数据的专家的能力，我们提出 warmPref-PS 算法，利用带有噪声偏好反馈的离线数据集实现在线学习，并在理论和实证评估中得到支持。

Jun, 2024

强化学习中主动多任务学习的力量

通过多任务表示学习的方式，我们将人类反馈强化学习 (RLHF) 问题建模为一种上下文二分问题，并假设存在一种共同线性表示。我们证明了考虑任务相关性，并为具有不同任务相关性的源任务分配不同样本数量可以降低多任务 RLHF 中的样本复杂度。此外，由于表示学习，目标任务的样本复杂度仅与潜在空间的维度成线性关系。

May, 2024

多轮强化学习从人类偏好反馈中学习

本研究通过发展新的强化学习方法，解决了基于喜好反馈的多轮对话中规划和多轮互动问题，通过实验证明该算法在教育对话环境中超越了基线模型，同时在含有明确奖励的环境中也能达到基于奖励强化学习模型的性能

May, 2024

通过主动偏好优化的可证明样本高效强化学习

基于人类反馈的强化学习（RLHF）是将大型语言模型（LLMs）与人类偏好相一致的关键所在。然而，依赖高质量的人类偏好数据却在 RLHF 的实际实施中构成了昂贵的瓶颈。因此，需要更好和适应性更强的数据收集策略。为此，我们将 RLHF 构建为一个具有提示作为上下文的偏好赌博问题，并证明了通过随机均匀选择提示来收集偏好数据的天真方式会导致策略在奖励上产生 Ω(1) 的次优性差距。然后，我们提出一种主动选择提示以收集偏好数据的算法（ exttt {APO}），在 Bradley-Terry-Luce（BTL）偏好模型下， exttt {APO} 在不损害策略性能的情况下实现了样本效率。我们证明，在给定采样预算 T 的情况下，通过 exttt {APO} 学得的策略的次优性差距的尺度为 O (1/√T)。接下来，我们提出了一种计算高效的 exttt {APO} 的批处理版本，并在实践中评估其性能。对于一个人类偏好数据集的实验评估验证了 exttt {APO} 作为 RLHF 数据收集的具有样本效率和实用性的解决方案，以成本有效且可扩展的方式促进 LLMs 与人类偏好的一致性。

Feb, 2024

对比偏好学习：无需 RL 的人类反馈学习

使用最大熵原理，引入了一种从人类反馈中优化行为的新型算法 Contrastive Preference Learning (CPL)，该算法能够在不学习奖励函数的情况下，通过偏好学习最优策略，克服了优化挑战并能应用于任意 MDPs 环境。

Oct, 2023

基于策略和主动学习的经济高效的代理奖励模型构建

使用成本效益的代理奖励机制和主动学习，针对强化学习与人类反馈模型，最小化专家查询成本，并有效标记更多的偏好数据进行模型训练。

Jul, 2024

从人类偏好中证明策略学习在上下文强化学习问题中的好处

决策问题中的一个关键任务是奖励工程。没有明显的奖励函数选择的情况在实践中很常见。因此，一种常见方法是在训练过程中引入人类反馈，并利用该反馈来学习奖励函数。在使用人类反馈的所有政策学习方法中，基于偏好的方法在近期的实证应用中表现出相当大的成功，如 InstructGPT。本文中，我们发展了一个理论，可以证明基于偏好的方法在离线上下文剧集中的优势。特别地，我们改进了在直接人工评分样本上运行政策学习方法的建模和次优性分析。然后，我们将其与基于偏好的方法的次优性保证进行比较，证明了基于偏好的方法具有更低的次优性。

Jul, 2023