通过多种设计好的学习范式来缓解监督瓶颈，以在文本中诱导各种语义表征，从而帮助决策，减少生成必要的监督信号导致的代价和不可扩展的问题。

May, 2020

通过对比学习和分类等几种常用的监督信号的信息论分析，我们确定了它们如何为表示学习性能做出贡献以及在训练数据集的标签数、类数和维数等培训参数影响下学习动力学如何受影响。我们通过一系列模拟实验进行了实证验证，并进行了成本效益分析，以建立一条权衡曲线，使用户能够优化在自己的数据集上监督表示学习的成本。

Nov, 2022

本文提出了一种基于概率框架的弱监督学习方法，通过最大似然原则，利用多种弱监督信号（例如嘈杂标签和粗粒度标签等）进行学习，使用 true target 的一个鉴别性模型来建模间接观察，并利用随机变量最大化似然度来隐式地进行真实目标的估计，该方法可直接用于深度神经网络中。

Oct, 2019

该研究论文提出了 Weak Indirect Supervision (WIS) 这一问题，还设计了一种基于概率建模的 PLRM 方法来解决监督数据输出空间不匹配的问题。PLRM 方法在图像分类、文本分类和工业广告应用中均表现出超过基线模型 2% ~ 9% 的优势。

Oct, 2021

本文针对监督信号由多输入实例上的标签的转移函数 σ 生成的弱监督学习方案，提出了多实例偏标签学习（multi-instance PLL）问题，并给出了对于可能的未知转移 σ 的第一理论分析。通过使用一种在神经符号学中广泛使用的顶部 - k 替代损失，我们推导了基于 Rademacher 的错误界限，并进行了实证实验。

Jun, 2023

本文提出了一个概率框架，将多实例学习扩展到多类分类和回归等其他问题，并引入一种新的一致性概念来表征估计器，证明了在温和的假设下具有良好的收敛性。实验证明，该方法在三种问题设置中具有有效性。

Apr, 2020

本文提出了一种新的知识蒸馏方案，Filter-KD，通过观察模型的学习路径来解释现有的标签平滑和知识蒸馏方法，并发现模型可以通过 “锯齿形” 学习路径自发地改善 “糟糕” 的标签，从而提高下游分类性能。

Mar, 2022

为解决间接监督问题中最大边缘似然性面临的两个计算障碍，本文提出了一种基于线性系统求解特定模型的充分统计量的方法，从而通过凸优化来估算参数。同时，本文阐述了该方法的统计特性，并通过在本地隐私约束条件和低成本计数注释双方面的实验表明了该方法的有效性。

Aug, 2016

本文提出了一种新颖的半监督学习范式，旨在解决标签不足和标签不准确的问题，该方法使用图来连接数据点以便在图边沿将标签信息从稀少标记示例传播到未标记的示例。实验证明，该方法在图像分类、文本分类和语音识别等领域有效降低标签误差，表现优于其他现有的半监督学习方法。

Feb, 2019

该研究提出了一种用于半监督学习在数据集分布改变的情景下的新方法，基于信息理论，该方法包括了当前流行的熵最小化和伪标签方法，提出了一些新的上界描述其泛化误差情况，其在数据集分布改变的情景下胜过之前提出的方法。

Feb, 2022