本文介绍了使用堆叠式联合嵌入架构（JEA）来学习高度可分离的语义层次表示的方法，从而产生表现出更具独特的语义概念的表示空间，证明了其在语义分类上的有效性。

May, 2023

该研究论文使用了无需手工制作的数据增强方法来学习高度语义化的图像表示，引入了 I-JEPA 框架，通过从单个上下文块中预测同一图像中的各种目标块的表示来实现自我监督学习。实验结果表明，与 Vision Transformers 相结合，I-JEPA 具有高度的可扩展性和强大的下游性能。

Jan, 2023

自我监督学习（SSL）作为应对深度神经网络（DNNs）中有限标记数据挑战的一种有前途的解决方案，具有可扩展性潜力。本研究全面探索了 SSL 在各种数据增强中的行为，揭示了它们在塑造 SSL 模型性能和学习机制方面的关键作用。利用这些见解，我们提出了一种集成先验知识的新学习方法，旨在减少对大量数据增强的需求，从而增强学习表示的有效性。尤其值得注意的是，我们的发现表明，富含先验知识的 SSL 模型表现出较小的纹理偏差，对快捷方式和增强技术的依赖减弱，并且对自然和对抗性破坏具有改进的鲁棒性。这些发现不仅为 SSL 研究指明了新的方向，而且为提高 DNN 性能、减轻对大量数据增强的要求，从而增强可扩展性和实际问题解决能力方面铺平了道路。

Apr, 2024

本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

May, 2022

本研究提出了一种掩蔽图自编码器 (GraphMAE)，解决了基于结构数据增强和复杂的训练策略的对比学习的不足之处，侧重于特征重建，并表现出优异的性能。

May, 2022

本文对自我监督学习的理论与实践中被忽视的问题进行了分析，阐述了数据增强、网络结构和训练算法对于预训练和下游任务泛化性能的影响，并为自我监督学习的从业者指出了一些有价值的见解。

Feb, 2023

本文提出了一种条件增强感知的自监督学习方法（CASSLE），使用投影器网络对图像进行辅助引导，以实现对不同数据扩充方法的感知敏感性，并可获得多项下游任务的最新性能表现。

May, 2023

本文介绍了一种基于自主学习算法的预训练深度神经网络的方法，通过演化搜索方法在预处理任务的数据增益管道中编码数据增益算子的不同组合，优化所谓的‘拟预处理任务’，并测量了增强运算器对几个最先进的自监督学习算法性能的影响。研究结果表明，优化规则采用的数据增强器算子组合对自监督学习算法整体性能具有显着影响。

Mar, 2023

研究表明，超参数和数据增强策略的选择对 Self-Supervised Learning（SSL）方法的影响很大，因此可以通过超参数优化和引入新的数据增强算法 GroupAugment 来提高 SSL 的性能和准确率。

Jul, 2022

Graph-JEPA 是首个针对图领域提出的 Joint-Embedding Predictive Architectures (JEPAs) 模型，通过掩码建模学习不同子图的嵌入表示，并且采用预测编码子图在二维平面上单位双曲线上坐标的替代训练目标，验证结果表明 Graph-JEPA 能够学习具有表达力并在图分类和回归问题中具有竞争力的表示。

Sep, 2023