Sep, 2024

隐式奖励模型的有限泛化能力研究

HTML
PDF
TL;DR本研究探讨了直接偏好优化(DPO)所产生的隐式奖励模型DPORM与显式奖励模型(EXRM)在区分人类偏好方面的表现差异。尽管DPORM能够很好地拟合训练数据集，但结果表明其在验证数据集上泛化能力较差，尤其是在存在分布转变的情况下，这一发现强调了在迭代DPO方法中整合显式奖励模型的重要性。
发现论文，激发创造
  • 直接优化偏好：你的语言模型其实是一个暗地里的奖励模型

    本文提出了一种称为DPO（Direct Preference Optimization）的算法来解决无监督语言模型中的可控性问题，并在实验中表明，相较于传统的RLHF方法，DPO不仅表现更好，而且更加稳定和简单。

    May, 2023

  • 大型语言模型中RLHF的秘密之二：奖励建模

    从数据和算法的角度出发，本文针对强化学习通过人类反馈进行优化的技术中面临的困难提出了解决方法，包括使用多个奖励模型进行数据评估和投票机制来消除数据中错误和模糊偏好的影响，并引入对比学习和元学习来增强奖励模型的区分能力和泛化能力，从而实现迭代优化。

    Jan, 2024

  • 奖励模型学习与直接策略优化：从人类偏好中学习的比较分析

    通过系统比较强化学习从人类反馈中学习的范例与最近提出的直接偏好优化范例，我们向更深入地理解从人类偏好中学习迈进了一步。我们集中关注对数线性策略参数化和线性奖励函数的类别。

    Mar, 2024

  • 混合偏好优化：通过数据选择和更好的参考模型进行强化学习

    本文研究了大规模语言模型（LLMs）对齐的两种主要方法：强化学习与人类反馈（RLHF）以及基于对比学习的直接偏好优化（DPO）。通过分析RLHF和DPO的稳定性和鲁棒性，我们提出了一种新方法MPO（混合偏好优化），该方法减轻了两种方法的缺点。我们提出了一个两阶段的训练过程：首先在一个简单的数据集上对DPO进行训练，然后在一个具有DPO模型作为参考模型的困难集上进行RLHF。实验在两个公开的对齐数据集上进行，即HH-RLHF和TLDR，展示了MPO的有效性，无论是在GPT4上还是人类评估上。

    Mar, 2024

  • 探索奖励差距对偏好模型性能的影响

    从人类反馈中进行强化学习（RLHF）是一种广泛使用的语言模型训练框架。我们的研究发现，使用传统的基于人类偏好数据的排名目标来训练现有的奖励模型时，往往难以有效区分在真实场景中更受欢迎或不受欢迎的回应。为了弥补这一差距，我们的研究引入了一种新的方法来估计偏好差异，而无需从人类注释员那里获得详细的详尽标签。我们的实验结果从经验上证明，将边界值纳入训练过程中显著提高了奖励模型的效果。这种比较分析不仅展示了我们的方法在奖励预测准确性方面的优越性，还突出了它在实际应用中的有效性。

    Apr, 2024

  • 滤波直接优化偏好

    利用人类反馈进行强化学习在与人类倾向对齐的语言模型中起着关键作用。研究表明文本质量对于基于Direct Preference Optimization (DPO)进行优化的模型性能影响较大，而本文提出了一种扩展的DPO方法，即filtered direct preference optimization (fDPO)，通过训练奖励模型来监控首选数据集中的文本质量，从而改善最终模型的性能。

    Apr, 2024

  • 通过多目标奖励建模和专家混合解释性偏好

    通过建立一个具有可解释性的绝对评分多目标奖励模型(ArmoRM)和一个自动选择最合适奖励目标的门控网络，我们在大型语言模型对齐领域取得了与GPT-4评委相比的最先进表现，并接近更大的Nemotron-4 340B奖励模型的性能。

    Jun, 2024

  • 直接优化偏好的新准则

    基于直接偏好优化（DPO）本身存在未解决的缺陷，此研究提出一种代替的DPO损失函数，以缓解低质量响应和约束处理方面的权衡问题，并通过实证结果验证了分析的重要方面。

    Jul, 2024

  • 关于使用直接偏好优化的偏好学习的泛化

    本研究解决了大型语言模型与人类偏好对齐不足的问题，通过建立新的理论框架分析直接偏好优化（DPO）训练模型的泛化保证。研究发现，在特定条件下，使用DPO训练的模型能够在未见数据上高概率地正确识别偏好响应，展示了该理论对实际应用的重要价值。

    Aug, 2024

  • 基于DPO的偏好学习概括研究

    本研究解决了大型语言模型（LLMs）在对齐人类偏好方面的不足，通过引入一个新的理论框架来分析使用直接偏好优化（DPO）训练模型的泛化保证。研究发现，在特定条件下，采用DPO训练的模型能够高概率正确识别未见数据中的偏好响应，从而提升了模型的实际应用价值。

    Aug, 2024