通过在预训练中引入人类的反馈，实现对于语言模型的生成文本的可控和可导向性，减少哪些偏离人类喜好的内容的生成，并且在标准的预训练和任务特定的微调中保持下游任务表现。推荐在训练开始时，就结合人类反馈，不再使用模仿学习的方式预训练语言模型。

Feb, 2023

本文提出了一种新颖的方法，名为d-PM，采用贝叶斯框架来考虑人类偏好之间的分歧分布，并利用d-PM模型的偏好分数使用对比学习策略来训练自然语言生成模型，实验证明该方法在自动评估和人工评估方面一直优于之前的最佳模型。

Oct, 2023

通过模型中人类反馈的学习，改进大型语言模型（LLMs）的输出与人类期望的一致性，利用人类反馈信号中以响应对的排名形式的强化学习，研究使用自然语言反馈模型的数据效率，通过对ChatGPT、BARD和Vicuna等模型的反馈逐渐改进，提高了模型的响应质量。

Nov, 2023

通过混合不同的人类偏好数据集以增加数据量来增强奖励建模的方法可能失败，因此该研究提出了一种名为MORE的新的训练策略，通过自适应调整偏好目标来捕捉不同偏好中的共享人类价值观，实验证明MORE相较于其他方法在奖励准确性和校准误差方面有更好的表现。

Dec, 2023

分布偏好奖励模型（DPRM）是一个简单而有效的框架，通过将最大语言模型（LLM）与多样化的人类偏好对齐，以提高对人群偏好的代表性。

Feb, 2024

通过理论分析学习动态，我们提供了对人类偏好对齐的理论观察，揭示了优化算法可能优先考虑具有更高偏好区分度的行为，并通过实证验证对现代语言模型和对齐任务加深了对未来方法的认识。

Mar, 2024

本综述从以偏好为中心的角度回顾了探索大型语言模型（LLMs）的人类偏好学习的进展，包括偏好反馈的来源和格式，偏好信号的建模和使用，以及对齐LLMs的评估。

Jun, 2024

本研究针对大型语言模型在与人类偏好对齐方面的复杂性问题，提出了一种统一的研究框架，旨在增强对现有偏好对齐策略的理解。通过将现有策略分解为模型、数据、反馈和算法四个组成部分，研究展示了不同方法间的关联性，并提供了丰富的实例以帮助读者理解。同时，揭示了未来研究方向与挑战。

Sep, 2024

本论文针对大型语言模型（LLM）与人类偏好的对齐问题展开研究，指出现有研究方法多样且复杂，限制了偏好对齐的发展。我们提出了一种统一框架，将偏好学习的策略分解为模型、数据、反馈和算法四个组成部分，从而深入理解现有的对齐算法并探索未来的研究方向。

Sep, 2024

本研究针对大型语言模型（LLMs）与人类偏好对齐中的方法复杂性和研究分散性问题，提出了一种统一的框架，通过将现有的偏好学习策略分解为模型、数据、反馈和算法四个组件，深入分析现有的对齐算法。此研究不仅增进了对不同策略之间关系的理解，也为未来的研究提供了新的方向，促进了跨方法的优势互补。

Sep, 2024