该论文介绍了一种基于 “对比分布” 的简单方法，该方法通过训练一个从表示到分布的深度网络，并使用方差来衡量置信度，从而赋予预训练的对比表示学习不确定性的能力。在实验中，作者展示了该深度不确定性模型可用于视觉解释模型行为、检测已部署模型中的新噪声和异常，其中在 11 个任务中，对比 10 种基线方法改进了 14％以上，同样可以用于分类超出分布的示例，其性能可与有监督方法竞争。

Oct, 2020

通过引入变分贝叶斯神经网络方法，可以提高半监督节点分类任务的不确定性估计和下游性能，并提出一种新的不确定性度量，基于不同正样本的似然差异。

Nov, 2023

本文探讨了对比学习在文档分类中的应用。与传统方法相比，利用对比学习方法能更好的学习到文档的表征，并通过实验证明线性分类器利用这些表示能提高文档分类的准确性。

Mar, 2020

本文提出了一种理论框架以分析对比学习的算法，并引入潜在类别假设，该框架使我们能够在平均分类任务上证明学习表示的性能。同时，该文还表明，学习表示可以降低下游任务的（标记）样本复杂度。

Feb, 2019

本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

Oct, 2020

本文提出了一个方法，即基于样本难度感知熵正则化，利用经过大规模训练的预先训练模型指导下游模型训练，并同时提高了准确性和不确定性校准的可靠预测，克服了现代神经网络的困难，这是一个未被充分探索的领域。

Apr, 2023

研究了自我监督学习中一种流行的方法 —— 对比学习，在此基础上通过数学量化数据增强方法的度量，探讨了其泛化能力与三个关键因素的相关性 —— 正样本的一致性、类中心的分离度以及数据增强的集中度，并使用实验验证了后者对最终性能的影响。

Nov, 2021

提出一种基于邻域一致性的集成方法，用于估计自监督预训练模型的表征可靠性，实验结果表明该方法能够高精度地预测表征可靠性。

May, 2023

本研究针对之前的理论研究所存在的两个缺点建立了一种新的下限与上限模型，证明了 contrastive loss 可以作为下游 loss 的替代目标函数，同时也提示了更大的 negative sample size 可以提高下游分类，这在合成、视觉和语言数据集上的实验证实了。

Oct, 2021

本研究针对自监督学习提供了首个理论分析，其中包括来自模型类祖产的归纳偏差的影响。我们特别关注对比学习 - 一种在视觉领域广泛使用的自监督学习方法。我们发现，当模型具有有限的容量时，对比表示将恢复与模型结构兼容的某些特殊聚类结构，但忽略数据分布中的许多其他聚类结构，从而捕捉了更加现实的情景。我们将理论实例化为几个合成数据分布，并提供实证证据来支持该理论。

Nov, 2022