Mar, 2024

缓和以防御：通过自引导标签完善实现对抗鲁棒性

HTML
PDF
TL;DR鲁棒训练是为了提高深度神经网络对抗攻击的鲁棒性的最有效方法之一，但大多数鲁棒训练方法存在鲁棒过拟合的问题。本文从梯度范数角度首次找到了鲁棒过拟合与噪声标签过渡记忆之间的联系，并提出了一种自我导向的标签优化方法，它能提高标准准确度和鲁棒性，在多个数据集、攻击类型和架构上都得到了验证。此外，从信息理论的角度对我们的方法进行了分析，并指出了软标签对于鲁棒泛化的重要性。
发现论文，激发创造
  • 通过标签平滑实现对抗鲁棒性

    研究了标签平滑作为改善监督深度学习模型对抗鲁棒性的手段，在多个数据集和模型上证明了标签平滑的普遍优越性以及提出了几种变化形式。

    Jun, 2019

  • Benign过拟合有多无害？

    本研究探讨深度神经网络中的两个原因导致对抗性漏洞，即数据问题和训练模型问题，通过理论和实验证明标签噪声是对抗性漏洞的一个原因，并提出采用对抗性训练方法可以解决该问题，同时发现表示学习对此也有很大影响。

    Jul, 2020

  • 理解对抗训练与噪声标签的交互作用

    本文结合噪声标签和对抗训练，提出了使用梯度下降步数作为样本选择标准来纠正噪声标签，并且确认对抗训练具有强大的平滑效果的抗噪声标签的能力，从而提高自然的准确度，表明对抗训练作为一种通用的鲁棒性学习标准的优越性。

    Feb, 2021

  • NoiLIn: 改进对抗训练与校正嘈杂标签的刻板印象

    通过在对抗训练的过程中注入随机噪声标签，我们提出了一种新的训练方法NoiLIn，可以有效地解决模型鲁棒性和准确性之间的折中问题，并进一步提高了当今最先进的对抗训练方法的泛化能力。

    May, 2021

  • 对抗性训练中的记忆研究

    研究表明，深度学习模型具有记忆整个训练集的倾向，通过对对抗训练（AT）中记忆效应的探索，揭示了模型容量、收敛、泛化和特别是对抗性训练模型的鲁棒过拟合等问题，提出了一种减缓鲁棒过拟合的算法，并通过各种数据集上的广泛实验验证了该算法的有效性。

    Jun, 2021

  • 重新审视对抗性鲁棒性蒸馏：鲁棒的软标签让学生更好

    本研究使用了知识蒸馏的概念来提高小模型的鲁棒性，旨在改善在存储或计算资源非常有限的情况下对小型模型的有效性。通过使用Robust Soft Label Adversarial Distillation（RSLAD）来训练鲁棒的小学生模型，完全利用了由Robust（对抗训练）大教师模型产生的鲁棒软标签来引导学生的学习。该方法在提高小型模型对AutoAttack等最先进攻击的鲁棒性方面表现出优异的效果，并为对抗鲁棒性蒸馏的Robust Soft标签的重要性提供了一组理解。

    Aug, 2021

  • 学习中的确认偏见问题：以标签噪声为手段进行打击

    通过融合伪标记和置信度估计技术，Robust LR 方法成功地改善了数据标签噪声和确认偏差，并在以不同级别合成噪声的 CIFAR 和真实噪声的 Mini-WebVision 和 ANIMAL-10N 三个数据集上实现了最先进的性能。

    Dec, 2021

  • 模拟退火自蒸馏纠正改进了对抗训练

    提出一种通过生成软标签辅助来增强对抗训练模型的方法 Annealing Self-Distillation Rectification (ADR)，该方法显著改善了模型的鲁棒性并且易于与其他对抗训练技术进行无缝集成。

    May, 2023

  • 神经网络鲁棒性的标签增强

    本研究解决了神经网络在常见扰动和对抗扰动中的鲁棒性不足问题。提出的标签增强（LA）方法旨在同时提高对这两种扰动的鲁棒性，并改善不确定性估计。研究结果显示，与基线相比，LA在清洁错误率上提高了最多23.29%，并在常见扰动基准上提高了最多24.23%的鲁棒性。

    Aug, 2024

  • 针对对抗攻击的深度学习鲁棒性动态标签对抗训练

    本研究针对对抗训练中静态真值导致的鲁棒性过拟合和损失函数选择不当的问题，提出了一种动态标签对抗训练(DYNAT)算法。这一新方法通过动态决策增强目标模型的鲁棒性，与引导模型的动态标签结合，使目标模型能够更有效地寻找对抗实例，从而显著提高了模型在干净数据上的准确性和鲁棒准确性。

    Aug, 2024