本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

May, 2023

自我监督学习（SSL）作为应对深度神经网络（DNNs）中有限标记数据挑战的一种有前途的解决方案，具有可扩展性潜力。本研究全面探索了 SSL 在各种数据增强中的行为，揭示了它们在塑造 SSL 模型性能和学习机制方面的关键作用。利用这些见解，我们提出了一种集成先验知识的新学习方法，旨在减少对大量数据增强的需求，从而增强学习表示的有效性。尤其值得注意的是，我们的发现表明，富含先验知识的 SSL 模型表现出较小的纹理偏差，对快捷方式和增强技术的依赖减弱，并且对自然和对抗性破坏具有改进的鲁棒性。这些发现不仅为 SSL 研究指明了新的方向，而且为提高 DNN 性能、减轻对大量数据增强的要求，从而增强可扩展性和实际问题解决能力方面铺平了道路。

Apr, 2024

本文提出了在神经网络中使用自监督学习方法来学习超级表示法，引入了特定领域的数据增强和适应的注意力架构，并通过实验证明该方法能够较好地预测超参数、测试精度和泛化差距，并能用于超越分布场景。

Oct, 2021

本文对自我监督学习的理论与实践中被忽视的问题进行了分析，阐述了数据增强、网络结构和训练算法对于预训练和下游任务泛化性能的影响，并为自我监督学习的从业者指出了一些有价值的见解。

Feb, 2023

深度学习常被描述为数据 - 架构 - 损失的三位一体。然而，最近的自监督学习 (SSL) 解决方案引入了许多其他设计选择，如投影网络、正向视图或师生网络。本研究的发现是，对于多达几十万个样本的预训练数据集，SSL 引入的额外设计对所学表示的质量没有贡献。这一发现不仅为现有的理论研究提供了正当性，而且简化了在许多小型和中型场景中实施 SSL 的从业者的路径。我们的发现回答了一个长期存在的问题：在 SSL 中遇到的对训练设置和超参数的敏感性来自其设计，而不是缺乏监督指导。

Jun, 2024

我们研究了自监督学习中数据增强、预训练算法和模型架构的相对效果。通过比较多个著名的自监督学习方法，我们发现增强技术对性能的改进更为显著，而许多算法改进只有微小的影响。我们的发现挑战了自监督学习主要由算法改进主导的预设，并指出多样的增强方法以及数据和模型规模是自监督学习近期进展的更为关键的因素。

Mar, 2024

本论文介绍了自监督学习在图神经网络上的应用，将其方法分为对比模型和预测模型并提供统一的框架，在 SSL 方法和数据集上提供了概述和标准化的测试平台。

Feb, 2021

Odin 是一种自我监督学习范式，通过耦合对象发现和表征网络来自主发现有意义的图像分割，而无需人工干预，可实现 COCO 目标检测、实例分割及 PASCAL、Cityscapes 的语义分割等领域的迁移学习效果，并在 DAVIS 视频分割方面超越监督预训练的方法。

Mar, 2022

本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

Oct, 2021

本研究首次系统地探索和评估了将自我监督学习纳入动态预测的潜力，并建议使用四个自我监督学习任务进行动态预测，其中辅助自我监督任务不仅可以提高预测准确性，而且具有低推理时间和建筑复杂性。

Jun, 2022