我们的研究表明，非对比自监督学习方法可以通过学习理想的投影矩阵来降低下游任务的样本复杂度，并且我们还设计了一个更简单、更高效的算法 DirectCopy，其可以成功地应用于 STL-10、CIFAR-10、CIFAR-100 和 ImageNet 数据集，表现良好。

Oct, 2021

通过对 SimSiam 两个非对比损失方法进行实证分析，研究发现 SimSiam 对数据集规模和模型大小非常敏感，并提出用崩溃度量来衡量降维崩溃的程度，进而预测下游任务性能。同时，采用持续学习模式作为规范器可以预防模型的崩溃，并提出一种持续和多轮训练的混合方式，该方式能够在 ImageNet 上使用 ResNet-18 显著提高线性探针精度。

Sep, 2022

本文通过理论结果和实验表明，非对比损失在简单数据模型中具有非坍塌的不良极小值，并且训练过程不能避免这些极小值。

Mar, 2022

本文介绍了一种自监督学习方法 —— 对比学习。为了避免嵌入向量全部收敛到常数解的问题，这篇文章提出了一种新的对比学习方法 DirectCLR，该方法直接优化表示空间而不依赖于显式可训练的投影仪。实验表明，DirectCLR 在 ImageNet 上的表现优于 SimCLR。

Oct, 2021

本文提供了第一个统一的理论框架，旨在确定对比学习 (CL) 学习了哪些特征。我们的分析表明，(随机) 梯度下降向查找更简单解决方案的偏见是导致子类表示崩溃和抑制更难的类相关特征的关键因素。此外，我们提出了增加嵌入维度和提高数据增强质量作为两个理论动机解决 {特征抑制}。我们还首次理论解释了为什么同时使用监督和无监督 CL 会产生更高质量的表示，即使用常用的随机梯度方法。

May, 2023

对比度表示学习已经成为异常检测的一种杰出方法，本文通过探索对比特征的 l2 - 范数及其在超出分布检测中的应用，提出了一种简单的基于对比学习的方法，通过在对比层空间对正常样本进行抵制，来将超出分布的数据纳入模型中。我们的方法可以灵活地作为异常暴露（OE）方法应用，其中超出分布的数据是随机图像的大集合，或者作为完全自监督学习方法应用，其中超出分布的数据是通过应用分布变换自动生成的。我们的方法能够灵活地处理那些对比度学习基于异常检测方法普遍表现不佳的数据集，例如航空影像或显微镜影像。此外，通过对比度学习学习到的高质量特征在 OE 场景中始终提高性能，即使可用的超出分布数据集不够多样化。通过大量实验证明了我们所提方法在各种场景下的优越性，包括单一模态和多模态设置，以及各种图像数据集。

Dec, 2023

本论文研究了对比学习中正负样本设计的关键问题，并提出一种不同于数据增强的特征级数据操作策略，提高对比自监督学习的学习效果。作者们使用可视化工具分析数据，提出正样本外推和负样本插值两种特征变换策略，将其应用于图像分类任务，实验结果表明，本论文提出的特征变换策略可以明显提高图像分类准确率，并且具备不错的推广性。

Aug, 2021

本论文详细分析了对比学习的三个问题：扩展标准对比损失、局部特征学习和竞争特征抑制现象，并指出了此类方法可能存在的数据增强限制和学习饱和等问题。

Nov, 2020

本文研究了自监督表示学习的框架，在此基础上，发现了完全坍塌和维度坍塌的问题，并将维度坍塌与特征装饰相关联以提高表示的稳健性。

May, 2021

在自监督学习中，我们提出一种名为 DirectPred 的新方法，该方法直接基于输入的统计信息而非梯度训练来设置线性预测器。在 ImageNet 上，该方法的表现与采用 BatchNorm 的更复杂的两层非线性预测器相当，且在 300 个 epoch 的训练中优于线性预测器 2.5％（在 60 个 epoch 中达到 5％）。同时，通过研究非对比性 SSL 在简单线性网络中的非线性学习动态，我们为这些方法的学习和避免表征崩溃提供了理论洞察力。

Feb, 2021