自监督学习中的进化增强策略优化
自我监督学习（SSL）作为应对深度神经网络（DNNs）中有限标记数据挑战的一种有前途的解决方案，具有可扩展性潜力。本研究全面探索了 SSL 在各种数据增强中的行为，揭示了它们在塑造 SSL 模型性能和学习机制方面的关键作用。利用这些见解，我们提出了一种集成先验知识的新学习方法，旨在减少对大量数据增强的需求，从而增强学习表示的有效性。尤其值得注意的是，我们的发现表明，富含先验知识的 SSL 模型表现出较小的纹理偏差，对快捷方式和增强技术的依赖减弱，并且对自然和对抗性破坏具有改进的鲁棒性。这些发现不仅为 SSL 研究指明了新的方向，而且为提高 DNN 性能、减轻对大量数据增强的要求，从而增强可扩展性和实际问题解决能力方面铺平了道路。
Apr, 2024
我们研究了自监督学习中数据增强、预训练算法和模型架构的相对效果。通过比较多个著名的自监督学习方法，我们发现增强技术对性能的改进更为显著，而许多算法改进只有微小的影响。我们的发现挑战了自监督学习主要由算法改进主导的预设，并指出多样的增强方法以及数据和模型规模是自监督学习近期进展的更为关键的因素。
Mar, 2024
本文对自我监督学习的理论与实践中被忽视的问题进行了分析，阐述了数据增强、网络结构和训练算法对于预训练和下游任务泛化性能的影响，并为自我监督学习的从业者指出了一些有价值的见解。
Feb, 2023
研究表明，超参数和数据增强策略的选择对 Self-Supervised Learning（SSL）方法的影响很大，因此可以通过超参数优化和引入新的数据增强算法 GroupAugment 来提高 SSL 的性能和准确率。
Jul, 2022
本文通过对三种不同模型以及 420 种不同任务的广泛实验，认真研究了数据增强在异常检测中的作用，得出自监督作为另一个模型超参数，需要根据真实异常特征仔细选择数据增强方式的结论，并且在缺乏对应的情况下，自监督甚至会降低准确性，从而为未来的研究提供了新的方向
Aug, 2022
自我监督学习在无监督异常检测中起到重要作用，对 SSL 策略的选择、超参数的调整、预处理任务和增强函数的设计以及基于密度估计的预训练模型的利用提出了新的发展和挑战。
Aug, 2023
在相对有限 / 受约束的数据集中，通过比较实验评估了现代视觉自监督学习方法的有效性，发现针对特定领域的下游任务，在领域内的低数据量自监督预训练优于在通用数据集上进行大规模预训练，为该领域中各类自监督学习方法的性能提供了有价值的见解，并提出了直接的未来研究方向。
Apr, 2024
本文提出了一种条件增强感知的自监督学习方法（CASSLE），使用投影器网络对图像进行辅助引导，以实现对不同数据扩充方法的感知敏感性，并可获得多项下游任务的最新性能表现。
May, 2023
本文综述了基于自监督学习技术在图数据中的应用，提出了一个统一的数学框架，并将这些方法根据预文本任务的目标分为四类，并描述了在各个研究领域中的应用及所采用的数据集，评估基准，性能比较和开源图形 SSL 代码。
Feb, 2021