ICLRMar, 2023

重新思考对抗性对比学习中数据增强的影响

PDF
TL;DR本研究提出一种名为 DYNACL 的方法，通过逐渐从强的数据增强到弱的数据增强，使自我对抗训练（self-AT）中的强数据增强和弱数据增强之间的困境得到解决，并通过适应后处理阶段进一步提高自我对抗训练的成果。
self-supervised learningadversarial trainingrobustnessdata augmentationdynacl
发现论文，激发创造
  • 自监督对抗鲁棒性分离式对抗性对比学习

    本研究提出了 Decoupled Adversarial Contrastive Learning (DeACL) 框架，将 Adversarial Training 和 Self-supervised Learning 分为两个子问题分别处理，使学习无标签鲁棒表示更加简化和高效，并在实验中取得了业界领先的表现。

    Jul, 2022

  • AROID：通过在线逐实例数据增强提高对抗鲁棒性

    该论文提出了一种新的方法，通过在线实例化学习数据增强策略来提高 Deep neural networks 的 Adversarial training 的鲁棒性，在多个模型结构和数据集上成功地超越了现有的竞争性数据增强方法。

    Jun, 2023

  • 对比对抗训练中通过认知失调缓解实现健壮性

    本文介绍了一种新的神经网络训练框架，通过将对比学习与对抗训练相结合，增强了模型对对抗攻击的鲁棒性，同时保持高干净度的准确性。作者发现对比学习有助于提高对抗性鲁棒性，并使用 CIFAR-10 数据集验证了他们的方法，发现其优于其他监督和自监督方法。

    Mar, 2022

  • 对抗性对比学习实现的强健预训练

    本文探索了对比学习框架中注入对抗扰动的方法，以提高其在无监督下的自我训练的鲁棒性表现。实验表明，该方法可以实现在无标签数据集下的有效增强，从而大幅提升半监督学习的表现。

    Oct, 2020

  • 缓和以防御：通过自引导标签完善实现对抗鲁棒性

    鲁棒训练是为了提高深度神经网络对抗攻击的鲁棒性的最有效方法之一，但大多数鲁棒训练方法存在鲁棒过拟合的问题。本文从梯度范数角度首次找到了鲁棒过拟合与噪声标签过渡记忆之间的联系，并提出了一种自我导向的标签优化方法，它能提高标准准确度和鲁棒性，在多个数据集、攻击类型和架构上都得到了验证。此外，从信息理论的角度对我们的方法进行了分析，并指出了软标签对于鲁棒泛化的重要性。

    Mar, 2024

  • 医学图像分类上的动态扰动自适应对抗训练

    提出了一种动态扰动自适应对抗训练（DPAAT）方法，通过将对抗训练放置在动态学习环境中，生成自适应的数据级扰动，并通过损失信息收集提供动态更新的准则，从而在提高鲁棒性的同时保留高泛化能力。在皮肤科 HAM10000 数据集上进行全面测试，表明 DPAAT 不仅实现了更好的鲁棒性改善和泛化性能保留，还显著提高了各种 CNNs 的平均精度和解释能力，表现出作为通用医学影像分类中的一种潜在的强大的对抗训练方法。

    Mar, 2024

  • 对比学习的自适应数据增强

    本研究提出了一种名为 AdDA 的自适应数据增强（Adaptive Data Augmentation）方法，通过在训练过程中实时反馈调整数据增强的组合，优化对比学习网络的表示学习效果，并在 ImageNet-100 数据集上进行了测试。

    Apr, 2023

  • 面向数据中心强健学习的抵抗基于迁移的对抗性攻击的深度学习模型

    该研究提出了一种名为数据中心稳健学习（DRL）的新的防御范例，通过在训练之前进行一次性的对抗性增强来提高对迁移攻击的稳健性，并且在黑盒稳健性上超过了多种常用的对抗训练技术。此外，DRL 还具有模型的泛化能力和稳健公平性。

    Oct, 2023

  • 对抗自动数据增强

    通过使用对抗性方法，Adversarial AutoAugment 能够通过同时优化目标相关对象和数据增强策略搜索损失，以便更快且更有效率地完成深度神经网络的训练及图像分类任务，从而将计算成本减少 12 倍，时间开销减少 11 倍，达到了最佳的实验成果。

    Dec, 2019

  • 通过对抗性学习实现鲁棒准确的物体检测

    本文提出了一种基于敌对样本的选择性、动态并且与检测器演化相关的数据扩增方法，该方法适用于目标检测模型，能够大幅提高模型的鲁棒性和检测精度。与基于模型无关的自动增广方法相比，在不同的检测模型中，该方法表现更加广泛和稳健。

    Mar, 2021