弱到强泛化的理论分析

May, 2024

Theoretical Analysis of Weak-to-Strong Generalization

Hunter Lang, David Sontag, Aravindan Vijayaraghavan

TL;DR强学生模型可以从较弱的教师那里学习：当在较弱模型的预测上进行训练时，强预先训练的学生可以学习纠正较弱模型的错误，并推广到教师不自信的例子，即使这些例子在训练中被排除在外。这使得可以从廉价、不完整和可能不正确的标签信息中进行学习，例如粗略的逻辑规则或语言模型的生成。我们证明了现有的弱监督理论不能同时解释这两个效应，我们将其称为伪标签纠正和覆盖扩展。我们给出了基于数据分布和学生假设类的展开性质的新界限，直接解释了伪标签纠正和覆盖扩展。我们的界限捕捉了弱到强泛化的直觉，即在强模型无法适应弱教师的错误而不产生额外错误时发生。我们展示了这些扩展性质可以通过有限数据进行检验，并提供了实证证据证明它们在实践中成立。

Abstract

strong student models can learn from weaker teachers: when trained on the predictions of a weaker model, a strong pretrained student can learn to correct the weak model's errors and generalize to examples where t

strong student models weaker teachers pseudolabel correction coverage expansion weak-to-strong generalization

发现论文，激发创造

弱到强泛化的增益量化

使用弱模型生成的标签对强模型进行微调可以显著提高强模型性能，本文提出了一个理论框架来解释这种弱到强的泛化现象，并通过多种实证评估验证了理论发现。

May, 2024

共同监督学习：通过分层专家混合改善从弱到强的泛化能力

通过引入多个专业老师来共同监督强大的学生模型，我们的方法类似于经典的专家混合模型，通过逐步交替学生训练和教师分配，并引入教师 - 学生和局部 - 全局一致性，来解决具有大能力差距时的弱到强泛化挑战。

Feb, 2024

从弱点中汲取力量：利用弱监督进行快速学习

本研究探讨弱监督学习的泛化特性，证明了借助弱标签可以显著加速强任务的学习速率，实现 O (1/n) 的快速率，研究结果可适用于各类任务，说明弱标签如何加速强任务的学习。

Feb, 2020

视觉超对齐：视觉基础模型的弱到强泛化

利用弱模型监督强模型以提升性能，采用新颖的自适应可调整损失函数进行弱强监督的综合实验，超越了基准性能和使用整个数据集进行微调的结果，展示了弱强泛化在提升视觉模型性能方面的重大潜力。

Feb, 2024

从弱监督中引发强能力：弱到强的泛化

通过弱监督模型来训练强大的预训练模型，研究发现在自然语言处理、国际象棋和奖励建模任务中，弱模型引导强模型的普遍性能要优于弱模型，但仍然需要进一步研究以扩展到超人模型。利用辅助置信度损失方法，可以在自然语言处理任务中获得接近 GPT-3.5 级性能，这表明今天在修正超人模型的基本挑战上取得实证进展是可行的。

Dec, 2023

从文本分类到生成的贝叶斯弱强弱强

当大型语言模型的进步引发了对于对齐技术将如何随着模型变得越来越复杂以及人类只能弱化地监督它们的疑问时，本文通过对一个弱模型监督使用强模型提供全功能的能力的模拟情境的研究实现了 WeakS-to-Strong 的扩展，模拟了人类意见的变异性。通过贝叶斯方法估计置信度分数来指导 WeakS-to-Strong 的泛化，并将其应用于文本生成任务，研究了更先进的监督策略，并且应用了直接偏好优化来推进学生模型的偏好学习。结果表明了该方法在强学生模型的可靠性方面的有效性，并显示其在超级对齐方面的潜力。

May, 2024

超（表）对齐：在弱到强的泛化中，强模型可能欺骗弱模型

通过使用具有弱监督的模型对强大模型进行监督，最近的研究初步探讨了超级对齐问题。实验发现，弱监督的强学生在对齐目标上持续胜过弱教师，引发了弱到强泛化现象。然而，我们担心在这种令人期待的现象背后，是否存在弱到强欺骗问题，即强大模型可能通过在弱模型已知领域中表现得很好，而在弱模型不知道的情况下产生不对齐的行为进行欺骗。我们在特定但现实的多目标对齐情况下以及奖励建模任务和偏好优化场景上的实验证明：（1）存在弱到强的欺骗现象；（2）随着弱模型和强模型能力差距的增加，欺骗现象可能会加剧。我们还讨论了潜在的解决方案，并发现通过中间模型的引导可以在一定程度上减轻欺骗问题。我们的工作强调了对超级对齐的真实可靠性更加紧迫的关注。

Jun, 2024

提升弱到强泛化性能的可靠性感知对齐

通过提高弱监督信号的可靠性，我们的方法有效地识别了弱标签的质量，并显著提高了弱到强泛化能力，降低了噪声监督的误差传播，增强了大型语言模型的准确性和可靠性。

Jun, 2024

使用多任务弱监督训练复杂模型

文章提出了一种基于多任务弱监督的矩阵补全方法，通过建立弱监督任务之间的相关性解决弱监督准确性低的问题，从而提高模型训练的效果。实验结果表明，与传统的有监督方法相比，该方法能平均提高 20.2% 的准确率。

Oct, 2018

生成模型助力弱监督 (反之亦然)

本研究提出了一种融合程序性弱监督和生成对抗网络的模型，通过对数据的离散潜变量和弱监督派生数据的标签估计进行对齐，从而更好地建模样本相关的弱监督结果的准确性，并通过合成样本实现了数据增强。实验结果表明，所提出的模型在多分类图像分类数据集上表现优异，同时提升了生成图像的质量和最终模型性能。

Mar, 2022