无奖励推断的人类反馈强化学习的零阶策略梯度

Sep, 2024

无奖励推断的人类反馈强化学习的零阶策略梯度

Zeroth-Order Policy Gradient for Reinforcement Learning from Human Feedback without Reward Inference

Qining Zhang, Lei Ying

TL;DR该研究解决了在人类反馈强化学习过程中，奖励推断面临的多个挑战，包括双重问题误设定和奖励模型评估困难。论文提出了两种无需奖励推断的强化学习算法，利用人类偏好估计本地价值函数差异，从而为更一般的强化学习问题提供了有效的解决方案。研究结果表明，无奖励推断的有效方法确实存在，从而可能对大规模语言模型的训练产生重大影响。

Abstract

Reward inference (learning a reward model from human preferences) is a critical intermediate step in Reinforcement Learning from Human Feedback (RLHF) for fine-tuning Large Language Models (LLMs) such as ChatGPT.

发现论文，激发创造

直接优化偏好：你的语言模型其实是一个暗地里的奖励模型

本文提出了一种称为DPO（Direct Preference Optimization）的算法来解决无监督语言模型中的可控性问题，并在实验中表明，相较于传统的RLHF方法，DPO不仅表现更好，而且更加稳定和简单。

May, 2023

如何在强化学习中高效地查询人类反馈？

研究提出了一种有效的轨迹对采样方法，用于探索隐藏的奖励函数，以便在收集人类反馈之前准确地学习，比现有文献更少地需要人类反馈量来学习基于偏好模型的最优策略，可以考虑线性和低秩MDP

May, 2023

深度强化学习基于层次性弱偏好反馈

通过排列的方式学习奖励函数，本研究提出了一个新的强化学习框架-HERON，通过比较轨迹并使用决策树进行优先级排序来训练基于偏好的奖励模型，从而在处理复杂任务时减少了人工成本同时提高了性能。

Sep, 2023

对比偏好学习：无需 RL 的人类反馈学习

使用最大熵原理，引入了一种从人类反馈中优化行为的新型算法Contrastive Preference Learning (CPL)，该算法能够在不学习奖励函数的情况下，通过偏好学习最优策略，克服了优化挑战并能应用于任意MDPs环境。

Oct, 2023

偏好作为奖励，通过重要性采样进行最大偏好优化

这篇论文介绍了一种重要的技术——偏好学习，其中Reinforcement Learning from Human Feedback（RLHF）是一种优化偏好学习的模型算法，通过对偏好得分建立奖励模型并优化生成策略；为了提高数据效率和稳定性，提出了使用离策略算法进行直接优化生成策略的Direct Preference Optimization（DPO）算法；通过增加离策略KL正则化项实现了KL正则化的真正有效性。

Dec, 2023

RLHF中部分观测的奖励状态框架

通过模型化部分观察到的奖励状态对强化学习从人类反馈中进行建模，并通过减少基于人类反馈的两种主要形式（基数反馈和对战反馈）到部分观测到的奖励状态强化学习的归约，来提出了有效的统计算法。

Feb, 2024

奖励模型学习与直接策略优化：从人类偏好中学习的比较分析

通过系统比较强化学习从人类反馈中学习的范例与最近提出的直接偏好优化范例，我们向更深入地理解从人类偏好中学习迈进了一步。我们集中关注对数线性策略参数化和线性奖励函数的类别。

Mar, 2024

RLHF 揭示：对于LLMs的强化学习从人类反馈的关键分析

通过强化学习原理的角度分析了强化学习来自人类反馈的语言模型的基础，重点关注了奖励模型作为RLHF核心组件的建模选择、函数逼近的陷阱，以及它们对训练算法的影响，同时揭示了当前方法的局限性。通过对现有文献的分类评论，我们对RLHF的挑战进行了描述，为研究人员和从业者理解RLHF的挑战并建立在现有研究的基础上提供参考。

Apr, 2024

价值激励偏好优化：在线和离线RLHF的统一方法

人类反馈引导的强化学习对齐大型语言模型的主要研究领域之一，本文通过引入一种统一的在线和离线强化学习方法——以价值激励的偏好优化（VPO），实现了对奖励函数的不确定性估计，并在文本摘要和对话等任务上进行了实验证实其实用性和有效性。

May, 2024

不需要奖励推断的人类反馈强化学习：无模型算法与实例相关分析

通过开发一种无模型的强化学习方法，本研究以人类反馈为基础，通过对动作进行对抗性竞争，提出了一个可直接从人类偏好信息中识别最佳策略的 RLHF 算法，证明了在样本复杂度方面 RLHF 并不比传统强化学习更困难，并且通过规避奖励推断中的问题，如过拟合和分布偏移，可能提供改进的性能。

Jun, 2024