Feb, 2021

理解对抗训练与噪声标签的交互作用

PDF
TL;DR本文结合噪声标签和对抗训练，提出了使用梯度下降步数作为样本选择标准来纠正噪声标签，并且确认对抗训练具有强大的平滑效果的抗噪声标签的能力，从而提高自然的准确度，表明对抗训练作为一种通用的鲁棒性学习标准的优越性。
noisy labelsadversarial trainingprojected gradient descentrobust learningsample selection
发现论文，激发创造
  • NoiLIn: 改进对抗训练与校正嘈杂标签的刻板印象

    通过在对抗训练的过程中注入随机噪声标签，我们提出了一种新的训练方法 NoiLIn，可以有效地解决模型鲁棒性和准确性之间的折中问题，并进一步提高了当今最先进的对抗训练方法的泛化能力。

    May, 2021

  • 缓和以防御：通过自引导标签完善实现对抗鲁棒性

    鲁棒训练是为了提高深度神经网络对抗攻击的鲁棒性的最有效方法之一，但大多数鲁棒训练方法存在鲁棒过拟合的问题。本文从梯度范数角度首次找到了鲁棒过拟合与噪声标签过渡记忆之间的联系，并提出了一种自我导向的标签优化方法，它能提高标准准确度和鲁棒性，在多个数据集、攻击类型和架构上都得到了验证。此外，从信息理论的角度对我们的方法进行了分析，并指出了软标签对于鲁棒泛化的重要性。

    Mar, 2024

  • 理解和提高 Frank-Wolfe 对抗训练的效率

    通过 FW-AT 理论框架提出一种新的对抗训练算法 - FW-AT-Adapt，它使用简单的扭曲度量来调整训练中的攻击步数，从而提高效率而不影响鲁棒性。与其他单步方法相比，FW-AT-Adapt 在多步 PGD-AT 的鲁棒性与训练时间上提供了最小的损失。

    Dec, 2020

  • 针对视频分类的对抗训练分析与扩展

    本文提出了三种防御方法来增强对多种攻击类型的鲁棒性，包括自适应防御技术 Adaptive AT，课程式防御技术 Curriculum AT 和将 AT 与去噪生成对抗网络相结合的生成式防御技术 Generative AT，并在 UCF101 数据集上进行了实验。

    Jun, 2022

  • 增强扩散以提高强健性泛化能力

    本文提出了一种名为 Diffusion Enhanced Adversarial Training (DEAT) 的新方法，以改善 Adversarial Training 中的 generalization 问题，理论上证明了 DEAT 比主要 AT 框架 ——Projected Gradient Descent Adversarial Training (PGD-AT) 更紧密的泛化界限，并通过广泛的实证调查证实了 DEAT 的优越性。

    Jun, 2023

  • 极端误校准与对抗鲁棒性的错觉

    深度学习自然语言处理（NLP）模型容易受到对抗性攻击，而测试时的温度缩放可提高真正的鲁棒性。

    Feb, 2024

  • 攻击对抗性攻击作为一种防御

    通过对敌对学习及攻击的深入探究，我们发现在敌对性训练的模型中，用微小的随机噪声扰动部分攻击样本能够破坏其误导性预测，为此我们提出了一种有效的防御方法，是通过制造更加有效的防御扰动方法，利用敌对训练降低了地面真实的局部 Lipschitzness，同时攻击所有类别，将误导的预测转换为正确的预测，这种方法在经验实验证明有效。

    Jun, 2021

  • 子空间对抗训练

    本篇论文从优化的角度出发，揭示了每个样本快速生长的梯度和过拟合之间的紧密联系，提出了一种新的对抗训练方法，“子空间对抗训练 (Sub-AT)”，并成功解决了过拟合的问题，显著提高了鲁棒性，实现了最先进的单步对抗训练 (单步 AT) 性能。

    Nov, 2021

  • 仅需简单微调：通过对抗微调实现鲁棒深度学习

    本研究提出了一种基于缓慢上升和快速下降型学习率调度策略的对抗微调方法，该方法通过有效的学习率调度策略显著降低了计算成本，同时提高了深度神经网络的准确性和鲁棒性。 实验结果表明，该方法在 CIFAR-10，CIFAR-100 和 ImageNet 数据集上优于先前的最先进方法，同时将计算成本降低了 8-10 倍，并能够改善任何经过预训练的深度神经网络的鲁棒性，而无需从头开始训练模型。

    Dec, 2020

  • 对抗分布式训练用于强健深度学习

    本文提出了一种新的模型训练框架 - 对抗分布式训练（ADT），通过最小值最大化优化问题，训练模型来学习处理各种威胁。ADT 的有效性也在几个基准测试中得到了验证。

    Feb, 2020