Jun, 2023

用简单基线重新思考对抗性训练

HTML
PDF
TL;DR使用简单有效的基线方法，通过将调整后的平方损失、循环学习速率和Erasing数据增强相结合的训练协议，取得了CIFAR和SVHN的RobustBench上有竞争力的结果。
发现论文，激发创造
  • 大规模对抗训练的有趣特性

    通过研究对抗训练的诊断要素，本文发现了两个有趣的性质：一是在对抗训练中批量归一化可能会阻碍网络获得强鲁棒性，而分别对训练集中的干净图片和对抗图片进行归一化可以提高鲁棒性；二是相较于传统分类任务，对抗学习对更深的网络层级有更高的需求，这一点可以通过增加网络容量来实现。

    Jun, 2019

  • 揭示对范数受限对抗样本的对抗训练极限

    探索对抗训练的极限，发现了通过结合更大的模型、Swish/SiLU激活函数和模型权重平均化可以训练出强健模型，同时在CIFAR-10和CIFAR-100数据集上有了大幅度的提升。

    Oct, 2020

  • 一次性全面对抗训练：在现场实现健壮性和准确性的权衡

    本文提出了Once-for-all Adversarial Training (OAT)和Once-for-all Adversarial Training and Slimming (OATS)框架，可以在不重新训练模型的情况下，调整模型在标准准确度和鲁棒准确度之间的权衡，并达到类似或超越专门训练的模型的性能。

    Oct, 2020

  • 提高对抗鲁棒性的数据增强修复

    本文研究对抗训练的过拟合问题，提出利用数据增强和生成模型增加训练集大小，提高对抗鲁棒性，并在CIFAR-10数据集上取得最新成果，其中对于Ε=8/255的l∞规范扰动，模型不使用外部数据时达到64.20％的鲁棒准确性，超过了大多数先前使用外部数据的研究成果。

    Mar, 2021

  • 对抗训练对常见噪声的有效性

    本文针对常见数据污染问题，探讨了对抗训练在提高精度和校准性方面比简单高斯噪声数据增强更有效的现象，并提出了新的方法——基于感知图像补丁相似度的对抗训练松弛，通过实验验证此方法可以优化原有的对抗训练基础模型，同时结合数据增强策略获得更好的性能。

    Mar, 2021

  • RobustBench/AutoAttack对于对抗性鲁棒性是否是一个合适的评测标准？

    本篇研究讨论了RobustBench在实际应用中作为鲁棒性关键指标的适用性，通过对该平台中数据更改和分辨率等方面的分析实验，提出了两个观点：一是数据更改强度过大，无法反映真实情况；二是基于梯度的攻击在低分辨率上表现较好，但对于高分辨率数据不具有泛化能力。

    Dec, 2021

  • 对敌对训练的强大过拟合及其原因的理解

    通过比较差异数据集，本研究阐述了敌对训练中稳健过度拟合的成因，并提出了一种名为最小化损失约束敌对训练(MLCAT)的算法，利用一些本不应考虑的数据，避免过度拟合问题，并且增强对抗鲁棒性。

    Jun, 2022

  • 认证鲁棒神经网络: 泛化和抗污染性

    通过提出综合强健的（HR）训练程序，理论和实验证明了其在对抗错误损失方面具有SOTA性能，并克服了在敌对训练中普遍存在的过度拟合问题。

    Mar, 2023

  • 异常鲁棒性对抗训练

    基于异常值健壮的对抗训练（ORAT）是在传统健壮学习方法和最近的对抗训练方法的基础上开发的，以同时处理低质量训练数据和推理时的敌对攻击，并在三个基准数据集上展示了其有效性和鲁棒性。

    Sep, 2023

  • 大规模重温对抗训练

    通过在规模上应用对抗训练，我们引入了一种名为AdvXL的高效训练策略，它能够以可承受的计算成本训练巨型模型和网络规模的数据，从而在ImageNet-1K上建立了新的鲁棒准确性记录。

    Jan, 2024