本文提出了一种称为 IterNorm 的新型 SSL 方法，它采用谱变换框架来转换嵌入的频谱成为所需的分布，并实现反向传播中的梯度调节。在 ImageNet 上的实验证明，IterNorm 在避免特征坍塌方面具有明显优势，在 256 批大小的情况下，准确率达到了 76.6％，效果超过了有监督基线。

May, 2023

通过分析梯度公式，我们对基于非参数实例区分的单分支自监督学习方法进行了改进，提出了一种新的自蒸馏损失以减小实例区分中的更新问题，并且在训练开销和性能方面与不同方法进行了系统比较，在不同规模的数据和不同骨干网络下，我们的方法在大大降低开销的同时，比各种基准方法表现更好，尤其在有限数量的数据和小型模型的情况下效果显著。

Apr, 2024

自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。

Feb, 2024

本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

May, 2022

本文提出了一种基于白化的对比学习方法，该方法将白化和对比学习相结合，提高了特征空间的一致性和对齐性，通过在通道轴上随机分组并独立白化，从而增加单个样本的多个扭曲形式，进一步增强对比学习中的正样本多样性，对七种语义文本相似度任务进行广泛实验，表明本方法在对比学习基准上取得了持续的改进并设置了新的最高水平。

May, 2023

该研究发现对于对比自监督 (SLL) 来说，那些与其他示例具有最相似增强的样例在学习表示方面贡献最大。此外，研究还表明，对正在进行的任务性能不会产生负面影响的情况下，可以安全地排除 CIFA100 和 STL10 分别的 20% 和 40% 示例。

Feb, 2023

NNCLR 是一种基于最近邻对比学习的自监督学习算法，将数据集中最近邻作为正样本而不是图像的不同视角，能够提供比预定义的变换更多的语义变化，达到了在 ImageNet 分类和迁移学习基准测试中超越现有先进方法的效果。此外，该方法的鲁棒性能更好，对于数据变换的依赖性更小。

Apr, 2021

研究自监督学习中公平编码器的学习，在这种情况下，所有数据都没有标签，并且只有其中一小部分数据带有敏感属性的注释。通过最小化无标签数据上的对比损失和最大化在具有敏感属性的数据上预测敏感属性的对抗损失，对抗公平表示学习非常适合这种情况。通过构建先进的优化技术，并在合理条件下提出了一种称为 SoFCLR 的随机算法，并对其收敛性进行了分析，而无需大数据批处理大小。通过广泛的实验证明了所提方法在下游分类中八个公平概念的有效性。

Jun, 2024

本文提出了一种基于谱流形学的统一框架，以解决自监督学习方法的局限性并提供有意义的表示学习方法，通过将 VICReg，SimCLR 和 BarlowTwins 等自监督学习方法与谱方法相对应，得到了闭合形式的最佳表示以及线性区间内的网络最佳参数，并揭示了对训练中使用的成对关系以及下游任务性能的影响，以及对于两种谱嵌入方法之间的第一种理论桥梁的暗示。

May, 2022

该研究旨在通过自我监督方法改善实例检索的性能。作者发现当前流行的 SSL 方法（如 SimCLR 和 MoCo）不能有效提高实例检索的性能。为解决这个问题，作者提出了一种名为 InsCLR 的新型 SSL 方法，该方法使用实例内对比来学习类内不变性，并使用动态挖掘有意义的伪正样本来提高鲁棒性，实验结果表明，InsCLR 在实例检索方面达到了与当前最先进的 SSL 方法相似甚至更好的性能。

Dec, 2021