本文提出了一种新的基于互信息的解缠度度量来研究负样本自由对比学习方法的解缠特性。作者在高维表示空间中将负样本自由对比学习方法引入解缠表示学习领域，并通过对流行的合成数据集和真实世界 CelebA 数据集的实验表明，该方法可以学到一个良好的解缠表示子集。

Jun, 2022

本文提出了一种基于边界的理论框架，并推导出了一种新的有监督对比损失（epsilon-SupInfoNCE）和一种有效的去偏差正则化损失（FairKL），这些方法可以用于从偏差数据中学习无偏模型，并在多个偏差数据集上实现了最先进的性能。

Nov, 2022

在对比学习中，我们提出了 AnInfoNCE，它能够在现实场景中揭示潜在因素，并广义上推广了以往的可识别性结果。我们的控制实验验证了我们的可识别性结果，并展示了在 CIFAR10 和 ImageNet 中恢复先前已经损失的信息的能力，但同时降低了下游任务的准确度。此外，我们还探讨了理论假设与实际实现之间的进一步不匹配，包括对硬性负样本挖掘和损失集合的扩展。

Jun, 2024

使用 InfoNCE 系列的 feedforward 模型通过隐式反转观察数据的基础生成模型来实现使学习到的表示方法适用于大量下游任务的目标，这种理论强调了对比学习，生成建模和非线性独立成分分析之间的基本联系，为推导出更有效的对比损失提供了理论基础。

Feb, 2021

提出 DisCo 框架，通过利用预训练的生成模型的高生成质量和聚焦于发现作为解缠表示学习因素的遍历方向，从而实现学习解缠表示和发现区别性维度的最新进展。

Feb, 2021

本文从对比学习的角度提出了一种新的对抗生成网络（CD-GAN）来解决因潜变量的后验推断和缺乏样本似然性而难以实现的生成模型因果解释的问题，它通过对比图像特征来实现对数据中不同类之间可辨别属性的提取，并通过仅有的有限监督来提高模型的性能。实验结果表明了该模型在多个数据集上对数据进行高效的可解释性特征提取。

Mar, 2021

该论文介绍了一种基于 “对比分布” 的简单方法，该方法通过训练一个从表示到分布的深度网络，并使用方差来衡量置信度，从而赋予预训练的对比表示学习不确定性的能力。在实验中，作者展示了该深度不确定性模型可用于视觉解释模型行为、检测已部署模型中的新噪声和异常，其中在 11 个任务中，对比 10 种基线方法改进了 14％以上，同样可以用于分类超出分布的示例，其性能可与有监督方法竞争。

Oct, 2020

本文探讨了对比学习在文档分类中的应用。与传统方法相比，利用对比学习方法能更好的学习到文档的表征，并通过实验证明线性分类器利用这些表示能提高文档分类的准确性。

Mar, 2020

本篇论文提供了 Contrastive Learning 的文献综述，并提出了一个通用的 Contrastive Representation Learning 框架，该框架简化并统一了许多不同的对比学习方法，并对对比学习的各个组成部分进行了分类。对于任何对比学习系统存在的规约偏差进行了分析和讨论，将我们的框架根据各种机器学习子领域的不同视角进行了分析。最后，介绍了对比学习在计算机视觉、自然语言处理、音频处理以及强化学习等领域的应用，以及未来研究方向中的挑战和一些最有前途的研究方向。

Oct, 2020

基于对比学习和信息最大化准则，我们提出了一种名为 SepCLR 的方法，用于学习适用于对比分析的语义表达，通过最大化和最小化两个互信息项，并采用新颖的最小化互信息策略来防止常见和显著分布之间的信息泄露。

Feb, 2024