通过使用师生模型结构，利用投影头将错误的监督从教师转移到学生，以改善自我监督 - 对抗训练中存在的性能差距，并通过增加训练数据的多样性来提高模型的干净和鲁棒准确性。

Jun, 2024

本文开发了一个理论框架以分析自我监督对比学习的可转移性，结果表明对比学习的下游表现在很大程度上取决于数据增强的选择，但对比学习无法学习域不变特征，即其可转移性受到限制。基于这些理论洞见，我们提出了一种新的方法 ArCL，它保证学习域不变特征，并可以轻松地与现有的对比学习算法集成。我们在几个数据集上进行实验，显示了 ArCL 显着提高了对比学习的可转移性。

Mar, 2023

本文探索了对比学习框架中注入对抗扰动的方法，以提高其在无监督下的自我训练的鲁棒性表现。实验表明，该方法可以实现在无标签数据集下的有效增强，从而大幅提升半监督学习的表现。

Oct, 2020

本研究提出一种名为 DYNACL 的方法，通过逐渐从强的数据增强到弱的数据增强，使自我对抗训练（self-AT）中的强数据增强和弱数据增强之间的困境得到解决，并通过适应后处理阶段进一步提高自我对抗训练的成果。

Mar, 2023

研究自监督学习中公平编码器的学习，在这种情况下，所有数据都没有标签，并且只有其中一小部分数据带有敏感属性的注释。通过最小化无标签数据上的对比损失和最大化在具有敏感属性的数据上预测敏感属性的对抗损失，对抗公平表示学习非常适合这种情况。通过构建先进的优化技术，并在合理条件下提出了一种称为 SoFCLR 的随机算法，并对其收敛性进行了分析，而无需大数据批处理大小。通过广泛的实验证明了所提方法在下游分类中八个公平概念的有效性。

Jun, 2024

本文介绍了一种新的神经网络训练框架，通过将对比学习与对抗训练相结合，增强了模型对对抗攻击的鲁棒性，同时保持高干净度的准确性。作者发现对比学习有助于提高对抗性鲁棒性，并使用 CIFAR-10 数据集验证了他们的方法，发现其优于其他监督和自监督方法。

Mar, 2022

本文提出一种新的对未标记数据的敌对攻击方法，并提出了一种自监督对比学习框架来实现无标记数据的敌对训练，旨在最大化数据样本的随机扩增和其实例级对抗扰动之间的相似度。我们在多个基准数据集上验证了我们的方法，发现它在鲁棒精度方面与最先进的有监督敌对学习方法相当，并且对于黑盒和未知类型的攻击具有显着的提高鲁棒性。此外，通过进一步联合微调有监督对抗损失，我们的方法可以获得更高的鲁棒精度，特别是在鲁棒迁移学习方面取得了令人瞩目的结果。

Jun, 2020

深度神经网络容易受到对抗性噪声的攻击。为了解决这个问题，我们提出了一种通用的对抗训练框架来获得稳健的特征表达，通过非对称负对比度和反向注意力来推动不同类别的特征在特征空间中远离，并通过线性分类器参数对特征进行加权以获得类别感知的特征并将相同类别的特征相互靠近。经过在三个基准数据集上的实证评估，我们的方法大大提高了对抗训练的鲁棒性并实现了最先进的性能。

Oct, 2023

通过对比自监督学习与 supervised learning 在对抗鲁棒性上的表现，本文发现 contrastive self-supervised learning 的数据表示倾向于在单位超球面上均匀分布，这导致其比 supervised learning 更容易受到干扰，作者提出了一种有效的方法来检测与消除训练中的 false negative pairs，并将其应用于对比自监督学习中，成功缩小了对抗鲁棒性方面与 supervised learning 之间的差距，提高了模型的性能。

Jul, 2022

鲁棒训练是为了提高深度神经网络对抗攻击的鲁棒性的最有效方法之一，但大多数鲁棒训练方法存在鲁棒过拟合的问题。本文从梯度范数角度首次找到了鲁棒过拟合与噪声标签过渡记忆之间的联系，并提出了一种自我导向的标签优化方法，它能提高标准准确度和鲁棒性，在多个数据集、攻击类型和架构上都得到了验证。此外，从信息理论的角度对我们的方法进行了分析，并指出了软标签对于鲁棒泛化的重要性。

Mar, 2024