可控熵直接偏好优化

Nov, 2024

Entropy Controllable Direct Preference Optimization

Motoki Omura, Yasuhiro Fujita, Toshiki Kataoka

TL;DR本研究解决了在大型语言模型后训练过程中，使用人类反馈的强化学习方法中直接偏好优化（DPO）面临的最低KL散度未能有效捕捉参考分布模式的问题。我们提出了一种简单的修改H-DPO，使得可控的熵有助于增强分布的尖锐性，从而更有效地支持模式寻求拟合。实验表明，H-DPO在各种任务中均优于DPO，展示出在数学任务中获得的优越结果，表明其在大型语言模型训练中的实际意义和应用潜力。

Abstract

In the post-training of Large Language Models (LLMs), Reinforcement Learning from Human Feedback (RLHF) is an effective approach to achiev

发现论文，激发创造

直接优化偏好：你的语言模型其实是一个暗地里的奖励模型

本文提出了一种称为DPO（Direct Preference Optimization）的算法来解决无监督语言模型中的可控性问题，并在实验中表明，相较于传统的RLHF方法，DPO不仅表现更好，而且更加稳定和简单。

May, 2023

超越逆向KL：通过多样的散度约束泛化直接偏好优化

在人类意见反馈上的强化学习和多样化的分歧约束下，使大语言模型（LLMs）能够更高效地与人类偏好相一致，从而改善对齐性能。

Sep, 2023

大型语言模型的主动偏好学习

利用DPO进行喂养，通过预测语言模型的预测熵和由DPO优化的隐式优先级模型的确定性度量，我们开发了一种主动学习策略来更好地利用偏好标签，从而提高配对偏好数据的学习速率和最终性能。

Feb, 2024

混合偏好优化：用辅助目标增强直接偏好优化

大型语言模型的对齐问题是一个复杂的挑战，本文提出了混合偏好优化（HPO）方法，通过结合直接优化偏好和强化学习的方法实现了对用户偏好和辅助设计目标的有效泛化，同时在各种具有挑战性的基准和模型规模上保持了对齐性能。

May, 2024

直接优化偏好的新准则

基于直接偏好优化（DPO）本身存在未解决的缺陷，此研究提出一种代替的DPO损失函数，以缓解低质量响应和约束处理方面的权衡问题，并通过实证结果验证了分析的重要方面。

Jul, 2024

减少DPO拒绝惩罚以提高训练鲁棒性

本研究解决了大型语言模型在与人类偏好对齐过程中的不足，提出了MinorDPO作为强化学习的改进版本。通过对DPO中β参数的分析，揭示了其与传统RL算法的语法差异及其潜在短板，最终表明MinorDPO能提高优化过程的稳定性和鲁棒性。

Aug, 2024

减少DPO拒绝惩罚以增加训练的鲁棒性

本研究解决了现有直接偏好优化(DPO)方法在训练大型语言模型时对人类偏好的对齐问题。通过对DPO中$\beta$机制的分析和改进，提出了MinorDPO方法，使其在偏好优化过程中更稳定，并与原始强化学习算法更好地对齐。该方法的显著发现是可以提高训练的鲁棒性，从而增强模型性能。

Aug, 2024

自监督偏好优化：提升语言模型的偏好程度意识

本研究解决了现有大语言模型在处理人类反馈时忽视偏好程度的问题。提出了一种新颖的自监督偏好优化框架（SPO），通过构建自监督偏好程度损失与对齐损失相结合，显著提升了模型理解人类偏好的能力。实验结果显示，SPO与现有偏好优化方法无缝结合，显著提升了性能，达到了最佳效果。

Sep, 2024

α-DPO: 自适应奖励边界是直接偏好优化所需的

本研究解决了将大型语言模型与人类价值观对齐的计算效率和训练稳定性问题。提出的α-DPO是一种自适应偏好优化算法，通过引入动态奖励边界来平衡策略模型和参考模型，从而提供个性化的奖励边界。实证结果显示，α-DPO在多个模型设置中优于传统方法，证明其在大型语言模型对齐中的重要性和潜力。

Oct, 2024

直接偏好优化的数据集、理论、变体和应用的综合调查

本研究解决了现有文献中对直接偏好优化（DPO）理论、变体和应用缺乏深入审查的问题。通过对DPO的现有研究进行分类，并提出未来研究方向，本文提供了对模型与人类偏好对齐的全面理解。研究发现DPO作为一种无强化学习的方法，对提升模型对齐策略具有重要影响。

Oct, 2024