探索了针对自我监督学习 (SSL) 模型的模型窃取攻击，使用这些攻击可以将受害者模型的表示进行窃取并通过训练获得高精度的下游模型。同时，既有的防御方法对于自我监督学习的特殊性不是有效的保护措施。

May, 2022

本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

May, 2023

自我监督学习在无监督异常检测中起到重要作用，对 SSL 策略的选择、超参数的调整、预处理任务和增强函数的设计以及基于密度估计的预训练模型的利用提出了新的发展和挑战。

Aug, 2023

本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

Oct, 2021

自我监督学习（SSL）已经成为应对无人监督数据环境的一种强大范例。然而，最近的研究表明 SSL 容易受到后门攻击的威胁，控制模型以适应攻击者目的。本文引入一种基于频率的新型后门攻击：CTRL，并提出了两种对抗 SSL 中基于频率攻击的防御策略：一种适用于模型训练前，另一种适用于模型推断期间。使用自监督学习的对象分类作为下游任务，我们展示了成功的防御策略，无需重新训练模型。

Mar, 2024

自我监督学习（SSL）作为应对深度神经网络（DNNs）中有限标记数据挑战的一种有前途的解决方案，具有可扩展性潜力。本研究全面探索了 SSL 在各种数据增强中的行为，揭示了它们在塑造 SSL 模型性能和学习机制方面的关键作用。利用这些见解，我们提出了一种集成先验知识的新学习方法，旨在减少对大量数据增强的需求，从而增强学习表示的有效性。尤其值得注意的是，我们的发现表明，富含先验知识的 SSL 模型表现出较小的纹理偏差，对快捷方式和增强技术的依赖减弱，并且对自然和对抗性破坏具有改进的鲁棒性。这些发现不仅为 SSL 研究指明了新的方向，而且为提高 DNN 性能、减轻对大量数据增强的要求，从而增强可扩展性和实际问题解决能力方面铺平了道路。

Apr, 2024

本文提出一种新的 SSL 算法，通过引入转移学习和自主监督来初始化数据的表示，再利用新算法，交替拟合有标签和无标签点以降低过拟合和避免标签和无标签损失平衡的问题。实验证明，该方法在标准基准测试中表现优异，特别是在从其他任务或数据集中细化时，效果更佳。

May, 2019

SCAR 是一种通用的框架，以对抗健壮性选择清洁样本，从而提高最近的半监督学习算法在图像分类方面的性能。通过对预训练模型进行对抗攻击，我们的框架成功地选择了高置信度的未标记数据以便与当前预测进行标记。在 CIFAR10 上，使用 SCAR 的三个最新的半监督学习算法大大提高了图像分类效果。

Aug, 2023

本文对自我监督学习的理论与实践中被忽视的问题进行了分析，阐述了数据增强、网络结构和训练算法对于预训练和下游任务泛化性能的影响，并为自我监督学习的从业者指出了一些有价值的见解。

Feb, 2023

本文综述了基于自监督学习技术在图数据中的应用，提出了一个统一的数学框架，并将这些方法根据预文本任务的目标分为四类，并描述了在各个研究领域中的应用及所采用的数据集，评估基准，性能比较和开源图形 SSL 代码。

Feb, 2021