Feb, 2023

SSL 交互作用：扩充、归纳偏差，与泛化

PDF
TL;DR本文对自我监督学习的理论与实践中被忽视的问题进行了分析，阐述了数据增强、网络结构和训练算法对于预训练和下游任务泛化性能的影响，并为自我监督学习的从业者指出了一些有价值的见解。
self-supervised learningdata augmentationnetwork architectureoptimizersgeneralization performance
发现论文，激发创造
  • 我们能否摆脱自我监督学习中的强数据增强？

    自我监督学习（SSL）作为应对深度神经网络（DNNs）中有限标记数据挑战的一种有前途的解决方案，具有可扩展性潜力。本研究全面探索了 SSL 在各种数据增强中的行为，揭示了它们在塑造 SSL 模型性能和学习机制方面的关键作用。利用这些见解，我们提出了一种集成先验知识的新学习方法，旨在减少对大量数据增强的需求，从而增强学习表示的有效性。尤其值得注意的是，我们的发现表明，富含先验知识的 SSL 模型表现出较小的纹理偏差，对快捷方式和增强技术的依赖减弱，并且对自然和对抗性破坏具有改进的鲁棒性。这些发现不仅为 SSL 研究指明了新的方向，而且为提高 DNN 性能、减轻对大量数据增强的要求，从而增强可扩展性和实际问题解决能力方面铺平了道路。

    Apr, 2024

  • 增强方法与算法：自监督学习中的有效途径

    我们研究了自监督学习中数据增强、预训练算法和模型架构的相对效果。通过比较多个著名的自监督学习方法，我们发现增强技术对性能的改进更为显著，而许多算法改进只有微小的影响。我们的发现挑战了自监督学习主要由算法改进主导的预设，并指出多样的增强方法以及数据和模型规模是自监督学习近期进展的更为关键的因素。

    Mar, 2024

  • 自监督学习的逆向工程

    本文深入分析了自监督学习的机制以及其对表示学习的影响，揭示了自监督学习在样本聚类方面的潜在驱动作用，同时证实了该方法所训练的表示与语义类别之间存在着密切的对齐关系，并且这种对齐关系随着训练和网络深度的加深而不断增强，这对于提高自监督学习方法的性能和效果具有重要的理论和实际意义。

    May, 2023

  • 自监督对比学习的几何理解

    本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

    May, 2022

  • 自监督学习对数据集失衡更具鲁棒性

    本文通过广泛的实验和理论分析，系统研究了在数据集不平衡的情况下自监督学习的表现，并通过半合成实验验证了 SSL 学习了与标签无关但可转移的特征，进而提出了一种新的加权正则化技术，显著提高了 SSL 表示的质量。

    Oct, 2021

  • 关于超参数和数据增强在自监督学习中的重要性

    研究表明，超参数和数据增强策略的选择对 Self-Supervised Learning（SSL）方法的影响很大，因此可以通过超参数优化和引入新的数据增强算法 GroupAugment 来提高 SSL 的性能和准确率。

    Jul, 2022

  • 生成模型能否改善自监督表示学习？

    自我监督学习通过使用生成模型生成语义一致的图像增强，丰富了学习强大视觉表示的方法，并显著提高了学习到的视觉表征的质量。

    Mar, 2024

  • 自监督学习中的进化增强策略优化

    本文介绍了一种基于自主学习算法的预训练深度神经网络的方法，通过演化搜索方法在预处理任务的数据增益管道中编码数据增益算子的不同组合，优化所谓的‘拟预处理任务’，并测量了增强运算器对几个最先进的自监督学习算法性能的影响。研究结果表明，优化规则采用的数据增强器算子组合对自监督学习算法整体性能具有显着影响。

    Mar, 2023

  • 显式地将一般性建模到自监督学习中

    自我监督学习的广义性理论定义及新型 GeSSL 框架的提出，能够在数据稀缺和真实世界中实现优越性能。

    May, 2024

  • 观点可能是误导性的：通过特征空间增强改进的 SSL

    我们探索了虚假特征对自监督学习的影响，表明常用的数据增强方法可能导致图像空间中不想要的不变性。基于这些发现，我们提出了一种方法（LateTVG），通过修剪编码器的后续层来在预训练过程中消除虚假信息，这种方法在几个基准测试中超过了基线方法，而不需要在自监督学习中使用组或标签信息。

    May, 2024