本研究提出了 Decoupled Adversarial Contrastive Learning (DeACL) 框架，将 Adversarial Training 和 Self-supervised Learning 分为两个子问题分别处理，使学习无标签鲁棒表示更加简化和高效，并在实验中取得了业界领先的表现。

Jul, 2022

本文开发了一个理论框架以分析自我监督对比学习的可转移性，结果表明对比学习的下游表现在很大程度上取决于数据增强的选择，但对比学习无法学习域不变特征，即其可转移性受到限制。基于这些理论洞见，我们提出了一种新的方法 ArCL，它保证学习域不变特征，并可以轻松地与现有的对比学习算法集成。我们在几个数据集上进行实验，显示了 ArCL 显着提高了对比学习的可转移性。

Mar, 2023

本文提出了一个新的基于 Transformer 编码器的自监督学习模型 ——ATST，该模型可解决分段级别的音频自监督学习问题。在新的正对配对策略的支持下，ATST 模型在多项下游任务中实现了最新的最佳表现。

Apr, 2022

本文研究了自监督学习中编码器和映射器的关系，发现数据增强策略的增加会导致映射器变得更加不变，从而学习将数据投影到低维空间中，具有理论和实验结果的几何学解释。

May, 2022

研究自监督学习中公平编码器的学习，在这种情况下，所有数据都没有标签，并且只有其中一小部分数据带有敏感属性的注释。通过最小化无标签数据上的对比损失和最大化在具有敏感属性的数据上预测敏感属性的对抗损失，对抗公平表示学习非常适合这种情况。通过构建先进的优化技术，并在合理条件下提出了一种称为 SoFCLR 的随机算法，并对其收敛性进行了分析，而无需大数据批处理大小。通过广泛的实验证明了所提方法在下游分类中八个公平概念的有效性。

Jun, 2024

建议使用伪标签从无标签数据中更新特征提取器，以解决预训练特征表示所带来的偏见，并通过实验证明该方法优于现有解决方案。

Sep, 2023

自监督学习（SSL）是从无标签数据中提取有价值表示的一种有前途的方法，其中对比学习是一种成功的 SSL 方法，其目标是将正例拉近而将负例推开。通过实证分析和理论探究，我们揭示了投影头的内部机制及其与维度崩溃现象的关系，我们的研究结果表明，投影头通过在投影子空间中进行对比损失来提高表示的质量。因此，我们提出了一种假设，即在最小化一批数据的对比损失时，仅有部分特征是必要的。理论分析进一步表明，稀疏的投影头可以增强泛化能力，这导致我们引入了 SparseHead - 一种有效约束投影头稀疏性的正则化项，并可以无缝集成到任何自监督学习（SSL）方法中。我们的实验结果验证了 SparseHead 的有效性，证明了其改善现有对比方法性能的能力。

Jul, 2023

本文提出了一种条件增强感知的自监督学习方法（CASSLE），使用投影器网络对图像进行辅助引导，以实现对不同数据扩充方法的感知敏感性，并可获得多项下游任务的最新性能表现。

May, 2023

本篇论文旨在探究防御对抗攻击的神经网络算法，在研究中发现传统的对抗训练没有学习到更好的特征表示方法，同时也存在过度拟合和泛化性能差的问题。为解决这些问题，引入了对抗训练图（ATG）的概念，提出基于 ATG 的对抗训练与特征可分性（ATFS）的新框架，该框架能够提高特征的内部类相似性并增加类间特征方差，从而明显提高了算法的性能。

May, 2022

我们探索了虚假特征对自监督学习的影响，表明常用的数据增强方法可能导致图像空间中不想要的不变性。基于这些发现，我们提出了一种方法（LateTVG），通过修剪编码器的后续层来在预训练过程中消除虚假信息，这种方法在几个基准测试中超过了基线方法，而不需要在自监督学习中使用组或标签信息。

May, 2024