弱到强泛化的增益量化
通过弱监督模型来训练强大的预训练模型，研究发现在自然语言处理、国际象棋和奖励建模任务中，弱模型引导强模型的普遍性能要优于弱模型，但仍然需要进一步研究以扩展到超人模型。利用辅助置信度损失方法，可以在自然语言处理任务中获得接近GPT-3.5级性能，这表明今天在修正超人模型的基本挑战上取得实证进展是可行的。
Dec, 2023
利用弱模型监督强模型以提升性能，采用新颖的自适应可调整损失函数进行弱强监督的综合实验，超越了基准性能和使用整个数据集进行微调的结果，展示了弱强泛化在提升视觉模型性能方面的重大潜力。
Feb, 2024
强学生模型可以从较弱的教师那里学习：当在较弱模型的预测上进行训练时，强预先训练的学生可以学习纠正较弱模型的错误，并推广到教师不自信的例子，即使这些例子在训练中被排除在外。这使得可以从廉价、不完整和可能不正确的标签信息中进行学习，例如粗略的逻辑规则或语言模型的生成。我们证明了现有的弱监督理论不能同时解释这两个效应，我们将其称为伪标签纠正和覆盖扩展。我们给出了基于数据分布和学生假设类的展开性质的新界限，直接解释了伪标签纠正和覆盖扩展。我们的界限捕捉了弱到强泛化的直觉，即在强模型无法适应弱教师的错误而不产生额外错误时发生。我们展示了这些扩展性质可以通过有限数据进行检验，并提供了实证证据证明它们在实践中成立。
May, 2024
当大型语言模型的进步引发了对于对齐技术将如何随着模型变得越来越复杂以及人类只能弱化地监督它们的疑问时，本文通过对一个弱模型监督使用强模型提供全功能的能力的模拟情境的研究实现了WeakS-to-Strong的扩展，模拟了人类意见的变异性。通过贝叶斯方法估计置信度分数来指导WeakS-to-Strong的泛化，并将其应用于文本生成任务，研究了更先进的监督策略，并且应用了直接偏好优化来推进学生模型的偏好学习。结果表明了该方法在强学生模型的可靠性方面的有效性，并显示其在超级对齐方面的潜力。
May, 2024
通过使用具有弱监督的模型对强大模型进行监督，最近的研究初步探讨了超级对齐问题。实验发现，弱监督的强学生在对齐目标上持续胜过弱教师，引发了弱到强泛化现象。然而，我们担心在这种令人期待的现象背后，是否存在弱到强欺骗问题，即强大模型可能通过在弱模型已知领域中表现得很好，而在弱模型不知道的情况下产生不对齐的行为进行欺骗。我们在特定但现实的多目标对齐情况下以及奖励建模任务和偏好优化场景上的实验证明：（1）存在弱到强的欺骗现象；（2）随着弱模型和强模型能力差距的增加，欺骗现象可能会加剧。我们还讨论了潜在的解决方案，并发现通过中间模型的引导可以在一定程度上减轻欺骗问题。我们的工作强调了对超级对齐的真实可靠性更加紧迫的关注。
Jun, 2024
通过提高弱监督信号的可靠性，我们的方法有效地识别了弱标签的质量，并显著提高了弱到强泛化能力，降低了噪声监督的误差传播，增强了大型语言模型的准确性和可靠性。
Jun, 2024
本研究解决了大型语言模型（LLMs）在缺乏黄金标签时面临的能力限制问题。提出的“从零到强的泛化”新范式，通过迭代提示LLMs对未标注数据进行注释并保留高质量标签，显著提升了模型在下游任务上的表现。实验结果表明，该方法对多种模型尺寸、上下文学习及微调均有效。
Sep, 2024
本研究针对大型语言模型（LLMs）对人类价值的对齐问题，强调现有方法在实际对齐任务下的不足。作者提出将弱到强的生成扩展至实际对齐任务，并通过实证研究表明这一现象在安全性、毒性和法律推理三项复杂任务中的广泛存在，旨在提高模型输出的质量和对齐性能。
Oct, 2024
本研究解决了语言模型与人类偏好对齐的有效性问题，提出了一种名为弱到强偏好优化（WSPO）的方法，该方法通过学习弱模型对齐前后的分布差异，从而实现强模型的对齐。实验结果表明，WSPO显著提升了模型的表现，表明利用弱模型来引导强模型以增强对齐能力是可行的。
Oct, 2024