本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

May, 2023

本研究探讨了自监督学习中的特洛伊攻击问题，并证明 SSL 受到特洛伊攻击的攻击效果与有监督学习相当。我们提出并评估了 CTRL，这是一种极其简单的自监督特洛伊攻击。结果证明，SSL 开启表示不变性有助于提高对抗强度，但同时这也使其对特洛伊攻击更加脆弱。

Oct, 2022

本文提出了一种利用自我监督学习预训练和主动采样的方法，只使用查询访问功能对小规模语音模型进行对抗攻击模型提取，实验结果表明，该采样方法可以有效地提取目标模型，而不需要知道其模型架构。

Nov, 2022

提出了基于数据增强的 SSL 模型成员推断攻击，并证明 SSL 训练中的成员泄漏与过拟合不同，通过早停止可以缓解攻击，但会降低模型效用。

Jul, 2022

本文研究自监督学习在传感器人体活动识别中的应用，并分析了两个最近的自监督学习框架 SimCLR 和 VICReg 的深层表示，比较了监督和自监督模型对输入数据噪声的鲁棒性，并通过可解释性方法探索了 SSL 和监督表示中编码的性质。研究表明，自监督学习表示比监督模型更加鲁棒，但监督模型学习到的特征更加均匀且更好地编码了活动的性质。

Apr, 2023

本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

Oct, 2021

自我监督学习（SSL）已经成为应对无人监督数据环境的一种强大范例。然而，最近的研究表明 SSL 容易受到后门攻击的威胁，控制模型以适应攻击者目的。本文引入一种基于频率的新型后门攻击：CTRL，并提出了两种对抗 SSL 中基于频率攻击的防御策略：一种适用于模型训练前，另一种适用于模型推断期间。使用自监督学习的对象分类作为下游任务，我们展示了成功的防御策略，无需重新训练模型。

Mar, 2024

自我监督学习（SSL）作为应对深度神经网络（DNNs）中有限标记数据挑战的一种有前途的解决方案，具有可扩展性潜力。本研究全面探索了 SSL 在各种数据增强中的行为，揭示了它们在塑造 SSL 模型性能和学习机制方面的关键作用。利用这些见解，我们提出了一种集成先验知识的新学习方法，旨在减少对大量数据增强的需求，从而增强学习表示的有效性。尤其值得注意的是，我们的发现表明，富含先验知识的 SSL 模型表现出较小的纹理偏差，对快捷方式和增强技术的依赖减弱，并且对自然和对抗性破坏具有改进的鲁棒性。这些发现不仅为 SSL 研究指明了新的方向，而且为提高 DNN 性能、减轻对大量数据增强的要求，从而增强可扩展性和实际问题解决能力方面铺平了道路。

Apr, 2024

自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。

Feb, 2024

本文综述了基于自监督学习技术在图数据中的应用，提出了一个统一的数学框架，并将这些方法根据预文本任务的目标分为四类，并描述了在各个研究领域中的应用及所采用的数据集，评估基准，性能比较和开源图形 SSL 代码。

Feb, 2021