使用自监督学习能够提升模型的鲁棒性和不确定性
自监督学习在计算机视觉中的鲁棒性研究调查了分布变化和图像损坏对学习表示的影响，发现较高级别的变化和损坏显著降低了学习表示的鲁棒性。研究强调了鲁棒性对自监督学习方法的性能和应用的关键影响，并强调了需要寻找有效策略以减轻其不利影响的重要性。
Jul, 2023
本文介绍自监督学习作为深度学习替代方案的优势及其在计算机视觉、自然语言处理和图学习中的应用，分类总结了现有的自监督学习方法，并进一步探讨其相关的理论分析工作，最后简要讨论了自监督学习的未来方向和开放性问题.
Jun, 2020
本论文提出了一种利用自我监督任务作为辅助损失函数来改善小型标注数据集上深度表示可迁移性的技术，其中使用自监督损失学习的表示减少了元学习的相对误差率，此方法在各种学习任务中都取得了良好的表现。
Jun, 2019
本论文介绍了如何利用自监督学习的方法抵御神经网络的对抗攻击，提出了自监督表示结合 k - 最近邻算法用于分类，同时还提出了自主学习对抗训练。实验结果表明，自监督表示在稳健性方面优于其受监督版本，并且自监督对抗训练可以有效提高防御能力。
Nov, 2019
通过理论和实验，我们证明了半监督学习可以显著提高对抗性鲁棒性，实验结果表明在 CIFAR-10 上使用 500k 未标记图像，使用自我训练方法可以超过最先进的对抗性鲁棒的准确度。在 SVHN 上，使用模型自身的额外的训练集可以提高 4 至 10 个百分点，与使用额外标签的提高量相差不大。
May, 2019
本文首次提出了一种自我监督的对抗训练机制，在输入空间中防御对抗性攻击，并提供极大的鲁棒性，可以作为即插即用的解决方案来保护各种视觉系统，包括分类、分割和检测，同时极大降低了未知攻击的成功率。
Jun, 2020
本研究从主题建模的角度着手，证明了基于重建或对比样本的自监督目标都可以为一般主题模型恢复有用的后验信息，并在实验证明了同样的自监督目标表现可以与使用正确模型的后验推断相媲美，而优于使用错误模型的后验推断。
Feb, 2022
本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。
Oct, 2021
本研究将对抗训练引入自监督学习中，提出了一种通用的具有强健性的预训练模型，可以在提高最终模型的强健性和节省计算成本方面，对后续的微调任务有两种作用。我们进行了大量实验，证明了所提出的框架与传统的对抗训练基线相比，在 CIFAR-10 数据集上可以获得大幅的性能提升。同时，我们发现不同的自监督预训练模型具有不同的对抗性漏洞，并提出了一种集成策略来提高其强健性。
Mar, 2020