本文证明了大多数知名损失函数的经验风险因子可分为线性项，聚合所有标签和不涉及标签的项，并且可以进一步表示为损失的和。这适用于任何RKHS中的非光滑、非凸损失。通过估计平均操作符，本研究揭示了这种分解的变量的充分统计量，并将其应用于弱监督学习。最后，本文展示了大多数损失都享有一种依赖于数据的（通过平均算子）噪声鲁棒性。

Feb, 2016

本研究探讨弱监督学习的泛化特性，证明了借助弱标签可以显著加速强任务的学习速率，实现O(1/n)的快速率，研究结果可适用于各类任务，说明弱标签如何加速强任务的学习。

Feb, 2020

本文提出了一种基于约束空间的弱监督学习方法，将不同的弱监督信号结合起来进行训练，在文本分类和图像分类任务中优于其他方法。

Sep, 2020

本文讨论了弱监督分类的问题，介绍了一种名为广义逻辑挤压的正则化方案，该方案能使任何合适的弱标签损失函数在下界处有界，而不丢失合理性，并实验验证了该方法的有效性，结果突出了合理性和保下界的重要性。

Mar, 2021

本文研究了高超参数线性模型在多类别高斯协变量下的渐近泛化，包括对 Subramanian 等人所提出的双层模型的研究，提出了新的下界，证明了该模型的渐近一致性，并提供了一个在稀疏标签多类问题中广泛适用的 Hanson-Wright 不等式的变体。

Jun, 2023

本文是对OpenAI最近关于弱到强泛化（W2SG）的超对齐工作的跟进研究，并提出使用集成学习和弱到强监督实现过强人工智能模型开发和超智能进化的方法。通过人类监督和自动对齐评估器来增强弱监督的能力，实现了弱到强监督的目标，并讨论了改进弱监督对于增强弱到强泛化的影响。

Feb, 2024

这篇论文介绍了一种从弱监督学习中学习的通用框架，其中核心是使用期望最大化(EM)方法灵活处理各种弱监督来源，包括实例部分标签，聚合统计，成对观测和无标签数据。我们还提出了一种先进的算法，使用非确定性有穷自动机(NFA)和前后向算法显著简化了EM的计算需求，有效地将时间复杂度从现有解决方案中通常需要的二次或阶乘降低到线性规模。这种学习任意弱监督问题的方法被转化为对NFA的建模。GLWS不仅提高了机器学习模型的可扩展性，还在11个弱监督场景中展示了卓越的性能和多功能性。我们希望我们的工作为这个领域的进一步发展和实际应用铺平道路。

Feb, 2024

通过引入多个专业老师来共同监督强大的学生模型，我们的方法类似于经典的专家混合模型，通过逐步交替学生训练和教师分配，并引入教师-学生和局部-全局一致性，来解决具有大能力差距时的弱到强泛化挑战。

Feb, 2024

使用弱模型生成的标签对强模型进行微调可以显著提高强模型性能，本文提出了一个理论框架来解释这种弱到强的泛化现象，并通过多种实证评估验证了理论发现。

May, 2024

强学生模型可以从较弱的教师那里学习：当在较弱模型的预测上进行训练时，强预先训练的学生可以学习纠正较弱模型的错误，并推广到教师不自信的例子，即使这些例子在训练中被排除在外。这使得可以从廉价、不完整和可能不正确的标签信息中进行学习，例如粗略的逻辑规则或语言模型的生成。我们证明了现有的弱监督理论不能同时解释这两个效应，我们将其称为伪标签纠正和覆盖扩展。我们给出了基于数据分布和学生假设类的展开性质的新界限，直接解释了伪标签纠正和覆盖扩展。我们的界限捕捉了弱到强泛化的直觉，即在强模型无法适应弱教师的错误而不产生额外错误时发生。我们展示了这些扩展性质可以通过有限数据进行检验，并提供了实证证据证明它们在实践中成立。

May, 2024