A2: 高效自动化攻击者用于提升对抗训练
本研究介绍了一种称为 A2T 的简单和改进的馅饼对抗训练过程,用于 NLP 模型的训练,可以使用更便宜的对手训练出具有鲁棒性的 NLP 模型,提高 NLP 模型的标准准确性、跨领域泛化性和可解释性。
Sep, 2021
深度强化学习算法中的模拟和真实世界之间的建模错误问题,通过使用对抗学习生成扰动以建模差异并提高深度强化学习的鲁棒性,在控制对抗性扰动的参数上存在平均性能和鲁棒性之间的权衡。为了保持训练的稳定性并提高鲁棒性,我们提出了一种简单而有效的方法,即自适应对抗性扰动 (A2P),可以动态选择适当的对抗性扰动来处理每个样本。我们的方法具有将其部署在实际应用中且无需事先访问模拟器的优点。在 MuJoCo 上的实验表明,我们的方法可以提高训练的稳定性,并在不同的测试环境中学习到一种鲁棒的策略。
May, 2024
本文提出了三种防御方法来增强对多种攻击类型的鲁棒性,包括自适应防御技术 Adaptive AT,课程式防御技术 Curriculum AT 和将 AT 与去噪生成对抗网络相结合的生成式防御技术 Generative AT,并在 UCF101 数据集上进行了实验。
Jun, 2022
该论文提出了一种新的方法,通过在线实例化学习数据增强策略来提高 Deep neural networks 的 Adversarial training 的鲁棒性,在多个模型结构和数据集上成功地超越了现有的竞争性数据增强方法。
Jun, 2023
提出了一种动态扰动自适应对抗训练(DPAAT)方法,通过将对抗训练放置在动态学习环境中,生成自适应的数据级扰动,并通过损失信息收集提供动态更新的准则,从而在提高鲁棒性的同时保留高泛化能力。在皮肤科 HAM10000 数据集上进行全面测试,表明 DPAAT 不仅实现了更好的鲁棒性改善和泛化性能保留,还显著提高了各种 CNNs 的平均精度和解释能力,表现出作为通用医学影像分类中的一种潜在的强大的对抗训练方法。
Mar, 2024
本文提出对自然语言处理任务进行通用训练的技术,包括关注力对抗训练(Attention AT)和更易于解释的关注力对抗训练(Attention iAT)。该方法通过引入对抗扰动,增强了句子注意力的差异,提高了模型的预测性能和可解释性,并且尤其适用于关注力机制。实验表明,Attention iAT 在十项任务中表现最佳,并且其结果的注意力与基于梯度的单词重要性的相关性更强。此外,该方法不太依赖于对抗扰动的大小。
Sep, 2020
本文提出了一种新的模型训练框架 - 对抗分布式训练(ADT),通过最小值最大化优化问题,训练模型来学习处理各种威胁。ADT 的有效性也在几个基准测试中得到了验证。
Feb, 2020
该研究论文介绍了新型对抗训练方法 ATTA,利用同一训练进程中相邻时期的模型具有高可转移性的特点,通过积累对抗扰动来增强训练模型的鲁棒性,并显著提高训练效率。相较于最先进的对抗训练方法,ATTA 在 CIFAR10 数据集上能提高 7.2% 的对抗准确性,在 MNIST 和 CIFAR10 数据集中只需 12-14 倍的训练时间就可以达到可比的模型鲁棒性。
Dec, 2019