Feb, 2024

回归基础：重新评估 LLMs 中学习人类反馈的 REINFORCE 样式优化

PDF
TL;DR通过改进 Proximal Policy Optimization，使用 REINFORCE-style optimization 的方法在低成本情况下实现在线强化学习优化，从而提高 AI 对人类反馈的 RLHF 的性能。
ai alignmentreinforcement learning from human feedbackproximal policy optimizationrlhfreinforce-style optimization
发现论文，激发创造
  • 大型语言模型中 RLHF 的秘密 第一部分: PPO

    大型语言模型对人工通用智能发展提出了一个使命，与人类对齐是其最重要的挑战，强化学习与人类反馈是支撑此追求的关键技术，并探讨了在 PPO 算法中影响策略代理训练的部件，并提出了 PPO-max 增强版本以提高策略模型的训练稳定性，总结了与 SFT 模型和 ChatGPT 相比的 RLHF 能力的全面分析。

    Jul, 2023

  • 成对近邻策略优化：利用相对反馈进行 LLM 对齐

    通过相对反馈，本文介绍了一种更简单而有效的方法，以相对反馈将大型语言模型对齐到人类的偏好。

    Sep, 2023

  • 使用离线强化学习与人类反馈对齐语言模型

    通过离线强化学习从人类反馈中对齐语言模型，采用最大似然估计、加权回归奖励和决策变换方法，实现了比在线 RL 方法更稳定的模型训练和更高的性能。

    Aug, 2023

  • 利用优势引导的策略对齐对语言模型进行微调

    本研究提出了一种新算法 APA，利用估计的优势建立基于平方误差损失函数的算法进行优化，证明在使用单独的奖励模型作为评估器时，APA 明显优于 PPO，并且在控制模型初始策略与改进性能之间提供更稳定的形式控制，避免了模式崩溃、不稳定性和样本效率低等问题。

    Jun, 2023

  • RRHF：无需痛苦排名回应，将语言模型与人类反馈对齐

    RRHF 是一种新的学习范式，通过排名损失函数对生成的回答进行评分，从而能够有效地将语言模型输出与人类偏好对齐，而且只需要 1 到 2 个模型进行调整，效果与微调相当。

    Apr, 2023

  • DPO 相对于 PPO 在 LLM 对齐上是否更优？一项全面研究

    通过理论和实证研究，本文探究了直接偏好优化（DPO）和邻近策略优化（PPO）方法在强化学习与大型语言模型对齐中的算法特性，并发现 PPO 在细化语言模型时表现出色，超越其它方法，并在挑战性的代码竞赛中取得了最先进的结果。

    Apr, 2024

  • 混合偏好优化：通过数据选择和更好的参考模型进行强化学习

    本文研究了大规模语言模型（LLMs）对齐的两种主要方法：强化学习与人类反馈（RLHF）以及基于对比学习的直接偏好优化（DPO）。通过分析 RLHF 和 DPO 的稳定性和鲁棒性，我们提出了一种新方法 MPO（混合偏好优化），该方法减轻了两种方法的缺点。我们提出了一个两阶段的训练过程：首先在一个简单的数据集上对 DPO 进行训练，然后在一个具有 DPO 模型作为参考模型的困难集上进行 RLHF。实验在两个公开的对齐数据集上进行，即 HH-RLHF 和 TLDR，展示了 MPO 的有效性，无论是在 GPT4 上还是人类评估上。

    Mar, 2024

  • 使用强化学习训练大型语言模型进行推理

    从人类反馈中进行强化学习（RLHF）已成为将 LLM 输出与人类偏好对齐的一种主要方法。受 RLHF 成功的启发，我们研究了从反馈中学习（Expert Iteration，Proximal Policy Optimization（PPO），Return-Conditioned RL）对改善 LLM 推理能力的多种算法的性能。我们通过启发式和学习的奖励模型为 LLM 提供了稀疏和密集奖励。我们还从多种模型尺寸和初始化状态，包括有和没有经过监督微调（SFT）数据的情况开始研究。总的来说，我们发现所有算法的性能相当，大多数情况下 Expert Iteration 的性能最佳。令人惊讶的是，我们发现 Expert Iteration 的样本复杂度与 PPO 相似，需要最多约 $10^6$ 个样本从预训练检查点收敛。我们研究了为什么会这样，并得出结论，在 RL 训练期间，模型未能在 SFT 模型已经产生的解之外进行显着的探索。此外，我们讨论了 SFT 训练期间 maj@1 和 pass@96 度量性能之间的取舍，并且相反，RL 训练同时改善了两者。最后，我们讨论了我们的发现对 RLHF 和 LLM 微调中 RL 的未来角色的影响。

    Mar, 2024

  • 近端策略优化实战：操纵输出标记长度

    通过使用奖励模型和 Proximal Policy Optimization（PPO）来操控模型生成的输出 tokenizer 长度的新任务，实验证实 PPO 在操控输出 tokenizer 长度以及训练效果方面的有效性和发展潜力。

    Aug, 2023

  • 人体对齐的偏好排名优化

    提出了一种名为 Preference Ranking Optimization（PRO）的新型策略，旨在通过将人类偏好排名直接应用于语言模型生成的响应的概率排名，实现语言模型（LLMs）的与人类价值观的对齐。研究结果表明，PRO 优于现有的对齐算法，并通过基于自动化、奖励、GPT-4 和人类评估的实验来达到与 ChatGPT 和人类响应相当的结果。此外，作者还证明了长、多样化、高质量的偏好排名序列可以稳定提高将 LLMs 与人对其的对齐性能。

    Jun, 2023