视觉变换器的自监督学习机制综述
通过实验和分析，研究了自监督学习对于小样本学习的有效性，证明自监督学习可以降低元学习中相对误差率4%-27%，对元学习器有更多的改进，尤其是在训练集更小或任务更具挑战性的情况下。但在元学习和自监督学习使用的图像分布不同时，自监督学习有可能会降低元学习器的表现。最后，作者提出一种方法，可以从大量的通用未标记图片中自动选择适合特定数据集的自监督学习样本，以进一步提高元学习器的性能。
Oct, 2019
本文研究的是计算机视觉中的自监督学习，探究了一些基本组件对自监督ViT训练的影响，发现稳定性是一个重要的问题，本文通过案例研究表明了部分成果实际上是不完全的失败，并探讨了当前的积极证据、挑战和开放问题。
Apr, 2021
本文介绍了一种简单的自监督蒸馏技术，可以培训高性能低计算的神经网络，RoB通过从大型自监督教师模型到小型学生模型的知识蒸馏来实现，适用于许多架构。实验结果表明RoB在ImageNet数据集上表现良好，且在五个下游转移任务上的表现与监督蒸馏的结果相当或更好。
Jan, 2023
Vision Transformers (ViTs)使用自我监督学习(SSAT)作为辅助任务与主任务同时进行联合优化，以在有限的数据量下取得更好的性能表现，此方法能帮助ViTs充分利用自我监督任务和主任务的独特特点，展现出优于传统的ViTs预训练与后续微调的效果，并在10个数据集的实验证明了SSAT的显著性提升并减少了碳足迹，同时在视频领域的Deepfake检测上也验证了其普遍适用性。
Oct, 2023
卷积神经网络与视觉Transformer在自我监督学习任务中表现相近，通过增加卷积核大小和其他小调整即可达到与Transformer相同的性能水平。
Dec, 2023
自我监督学习（SSL）作为应对深度神经网络（DNNs）中有限标记数据挑战的一种有前途的解决方案，具有可扩展性潜力。本研究全面探索了SSL在各种数据增强中的行为，揭示了它们在塑造SSL模型性能和学习机制方面的关键作用。利用这些见解，我们提出了一种集成先验知识的新学习方法，旨在减少对大量数据增强的需求，从而增强学习表示的有效性。尤其值得注意的是，我们的发现表明，富含先验知识的SSL模型表现出较小的纹理偏差，对快捷方式和增强技术的依赖减弱，并且对自然和对抗性破坏具有改进的鲁棒性。这些发现不仅为SSL研究指明了新的方向，而且为提高DNN性能、减轻对大量数据增强的要求，从而增强可扩展性和实际问题解决能力方面铺平了道路。
Apr, 2024
在相对有限/受约束的数据集中，通过比较实验评估了现代视觉自监督学习方法的有效性，发现针对特定领域的下游任务，在领域内的低数据量自监督预训练优于在通用数据集上进行大规模预训练，为该领域中各类自监督学习方法的性能提供了有价值的见解，并提出了直接的未来研究方向。
Apr, 2024
深度学习常被描述为数据-架构-损失的三位一体。然而，最近的自监督学习 (SSL) 解决方案引入了许多其他设计选择，如投影网络、正向视图或师生网络。本研究的发现是，对于多达几十万个样本的预训练数据集，SSL 引入的额外设计对所学表示的质量没有贡献。这一发现不仅为现有的理论研究提供了正当性，而且简化了在许多小型和中型场景中实施 SSL 的从业者的路径。我们的发现回答了一个长期存在的问题：在 SSL 中遇到的对训练设置和超参数的敏感性来自其设计，而不是缺乏监督指导。
Jun, 2024
自我监督学习方法是一种机器学习方法，通过解决预设任务，通过数据本身提供监督，从而避免了对外部标签的需求，并能够有效利用大量廉价无标签数据进行模型训练，从而显著降低了昂贵或无法获取标签的模型训练成本。本研究主要针对自我监督学习方法中的评估协议进行研究，评估表征质量，并预测不同类型数据集上不同下游任务的性能表现，发现基于领域内的线性/kNN探测协议是最好的普适性预测器，进一步研究了批归一化的重要性以及对不同类型数据集领域转移的鲁棒性的评估，同时对区分性和生成性自我监督方法之间的关系进行了挑战，并发现它们之间的性能差异大部分可以通过模型的改变来解释。
Jul, 2024