基于信息理论的角度，我们证明了生成式模型更适合于表征学习。而某些生成式模型，如生成对抗网络（GANs），在表征学习方面具有比有监督学习更强的潜力。此分析为进一步探索生成式表征学习提供了坚实的理论基础。

Mar, 2017

本文提出了一个统一的理论框架，用于处理多类分类的问题，其中监督由包含零互信息的变量提供，这个问题的性质由金标签到间接监督变量的转移概率和学习者对转移的先验知识决定，我们的理论引入了一个称为分离的新概念，描述学习能力和泛化界限，并在一系列学习场景中展示了该框架的应用。

Jun, 2020

本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法，通过数据量、数据领域、数据质量和任务粒度，得出了有关成功自监督学习所需条件的新见解，其中包括：(i) 除 500k 张图像外，额外的预训练数据的收益有限；(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。

May, 2021

通过多种设计好的学习范式来缓解监督瓶颈，以在文本中诱导各种语义表征，从而帮助决策，减少生成必要的监督信号导致的代价和不可扩展的问题。

May, 2020

本文介绍了一种基于视觉原语计数的人工监督信号的表示学习新方法，使用无需手动注释的等变关系获取监督信号，并使用两个图像变换（缩放和平铺）组合成一个约束条件，用对比损失训练神经网络，以产生在迁移学习基准测试中与当前最新技术相媲美或超越其的表示。

Aug, 2017

本文提出一种基于信息论的学习鲁棒性深度表示的新颖目标函数，通过将数据投影到特征矢量空间，最大化相对于监督信号的所有特征子集的互信息，得到鲁棒表示，其对噪声或不可用特征的信息保留能力较强，我们利用一种替代目标函数最小化的方式实现此目标函数并进行实验验证。

May, 2019

通过研究发现，在连续学习中，通过在监督模式和自监督模式下使用多层感知器，监督模式能够在连续表示学习方面优于自监督模式。

Nov, 2023

本文提出了一种新颖的信息论方法，以改善基于半监督学习的转移学习中深度神经网络的传递性，特别是在源数据集和目标数据集之间存在分歧的情况下，通过引入 Mutual Information 和 Lautum Information 来 应用于目标数据集的正则化项

Jun, 2023

本文提供了一种信息理论框架，从多个视角探究自监督学习的特性，并介绍了可以丢弃任务无关信息的任务相关自适应目标函数，为自监督学习的目标设计提供了更加广阔的空间。

Jun, 2020

弱监督搜索有理论上能够在实验数据上进行训练并且能够学习到独特的信号特性的优点。然而，这种搜索的实际应用受到成功训练神经网络所需的大量信号的限制。本文旨在通过使用迁移学习和元学习来创建可以从较少实验信号中学习的神经网络。总体思想是首先在仿真数据上训练神经网络，以便学习可复用的概念或成为更高效的学习者。然后，神经网络将在实验数据上进行训练，并且由于之前的训练，需要较少的信号。我们发现，迁移学习和元学习可以显著提高弱监督搜索的性能。

Dec, 2023