附带监督：超越监督式学习
本论文研究了三个方面的工作：如何提高预训练模型在 NLP 任务中的性能，在维基百科和释义上利用语言结构以提取知识，以及定制文本资源以建立挑战性的评估任务。
Jul, 2022
本文提出了一个统一的理论框架，用于处理多类分类的问题，其中监督由包含零互信息的变量提供，这个问题的性质由金标签到间接监督变量的转移概率和学习者对转移的先验知识决定，我们的理论引入了一个称为分离的新概念，描述学习能力和泛化界限，并在一系列学习场景中展示了该框架的应用。
Jun, 2020
基于信息理论的角度，我们证明了生成式模型更适合于表征学习。而某些生成式模型，如生成对抗网络（GANs），在表征学习方面具有比有监督学习更强的潜力。此分析为进一步探索生成式表征学习提供了坚实的理论基础。
Mar, 2017
通过对比学习和分类等几种常用的监督信号的信息论分析，我们确定了它们如何为表示学习性能做出贡献以及在训练数据集的标签数、类数和维数等培训参数影响下学习动力学如何受影响。我们通过一系列模拟实验进行了实证验证，并进行了成本效益分析，以建立一条权衡曲线，使用户能够优化在自己的数据集上监督表示学习的成本。
Nov, 2022
本文提出一种深度监督方法，通过利用中间概念对 CNN 的隐藏层进行监督，将先前的领域结构融入到神经网络训练中，显著提高了推广能力。该方法还可以仅使用合成场景来训练，并在实际图像上取得了 2D/3D 关键点本地化和图像分类的最新性能。
Jan, 2018
本文提出了一种新颖的混合方法，通过协同无监督和有监督学习，来提高自然语言处理任务建模的准确性。通过集成无监督模块和有监督模块，该方法在文本分类和命名实体识别方面取得了最新技术结果，为更高效和强大的自然语言处理系统铺平了道路。
Jun, 2024
该论文介绍了一种利用大型语言模型（LLM）进行文本监督语义分割的新方法，该方法通过生成更准确的类别表示来提供多样化的分割结果，并通过合并不同的子类描述符的分割图确保对测试图像的更全面的表示。经过三个标准基准的全面实验，我们的方法比传统的文本监督语义分割方法表现出更好的性能。
Mar, 2024
本研究旨在通过利用更强大的信息源和从现有数据中提取更多信息的方式，增加数据收集与维护流水线的效率，并着重解决模仿学习、领域自适应和从模拟中进行传输等三个正交方面的问题。
Apr, 2019