潜在对抗性训练在未知故障模式中的防御

Mar, 2024

潜在对抗性训练在未知故障模式中的防御

Defending Against Unforeseen Failure Modes with Latent Adversarial Training

Stephen Casper, Lennart Schulze, Oam Patel, Dylan Hadfield-Menell

TL;DR利用潜在对抗训练（LAT）来防御弱点，减少依赖生成激发输入的方法；通过对图像分类、文本分类和文本生成任务进行实验，LAT 通常在干净数据上提高了鲁棒性和性能，对于开发人员未明确识别的失效模式具备潜在应用前景。

Abstract

ai systems sometimes exhibit harmful unintended behaviors post-deployment. This is often despite extensive diagnostics and debugging by developers. Minimizing risks from models is challenging because the attack s

ai systems harmful unintended behaviors latent adversarial training vulnerabilities failure modes

发现论文，激发创造

利用对抗训练模型中的潜在层漏洞

本研究通过对鲁棒性模型的分析，发现相对于输入层抗攻击性较强的特征层是高度容易受到小幅度形变攻击的。在此基础上，我们提出了一种名为 LAT 的新技术，通过对已经进行对抗性训练的模型进行微调，以保证其特征层的鲁棒性。研究表明此方法对 MNIST、CIFAR-10 和 CIFAR-100 数据集的前沿对抗准确度有轻微提升。

May, 2019

通过局部和全局潜在分布提高模型的鲁棒性

通过全局流形的视角考虑深度神经网络对抗攻击的模型鲁棒性问题，提出了一种新的对抗训练方法 ATLD，该方法在不受监督的情况下，利用了本地和全局潜在信息，通过对抗游戏生成潜在流形对抗性实例，保留了流形的局部和全局信息，具有良好的鲁棒性，实验结果表明该方法在多个数据集上显著优于现有技术。

Jul, 2021

LAFEAT：通过潜在特征穿透对抗防御

本文介绍了目前 CNN 模型容易受到对抗攻击的困境，提出了一种可以利用隐藏组件 LAFEAT 进行攻击的算法，并证明该算法不仅计算效率更高，而且比目前现有的防御技术更为强大。这表明模型鲁棒性可能取决于防御者隐藏组件的有效使用，并且不应从整体的角度来看待。

Apr, 2021

LAS-AT: 可学习攻击策略的对抗训练

本论文提出了一种基于可学习攻击策略的敌对训练框架 LAS-AT，通过控制对抗样本的生成过程，提高模型的鲁棒性。实验结果表明，该方法优于传统手工攻击策略的方式，适用于多个基准数据库，并使用目标网络和策略网络两大部分共同实现。

Mar, 2022

使用 Mixup 和有针对性的标签对抗训练以提高神经网络的稳健性

提出一种名为 M-TLAT 的新型数据增强策略，结合了 Mixup 增强和一种名为 Targeted Labeling Adversarial Training（TLAT）的新对抗训练算法，有效提高了图像分类器对于常见污染和对抗性攻击的鲁棒性，同时不会降低对于正常样本的准确率。

Aug, 2020

LEAT: 通过潜在的集成攻击在现实场景中实现深度伪造的鲁棒破坏

本文提出了一种名为 “LEAT” 的简单且有效的深度伪造干扰方法，该方法攻击独立的潜在编码过程，尽管给定目标属性，也可以生成扰动输出图像。此外，我们介绍了一种规范化渐变合奏策略，用于迭代渐变攻击，旨在同时攻击各种类型的深度伪造模型。实验结果表明，相对于先前的方法，我们的方法在现实中干扰深度伪造的成功率更高。

Jul, 2023

通过潜在对抗扰动实现可靠的快速对抗训练

本研究提出了一种基于潜在对抗扰动的单步对抗性训练方法，通过梯度正则化来确保性能稳定，并且与现有的基于输入空间的对抗性训练方法相比，具有更高的计算效率和更好的表现。

Apr, 2021

神经网络潜在表征中的对抗性机器学习

通过信息论的背景将此问题转化为信息失真和鲁棒性的两个新度量，我们对分布式深度神经网络（DNNs）对抗行为的鲁棒性进行了严格分析，并通过考虑 6 种不同的 DNN 架构、6 种不同的分布式 DNN 方法和对 ImageNet-1K 数据集进行 10 种不同的对抗攻击的广泛实验分析来验证我们的理论发现。实验结果支持我们的理论发现，显示出压缩的隐含表示可以在最佳情况下将对抗性攻击的成功率降低 88％，平均降低 57％，与对输入空间的攻击相比。

Sep, 2023

高风险可靠性的对抗训练

通过对抗训练，可以增加高风险环境下 AI 安全性，本文以安全语言生成任务为测试，使用一系列对抗训练技术来寻找并消除分类器中的错误，提高输出的鲁棒性和可靠性。

May, 2022

规模化对抗机器学习

将对抗训练应用于 ImageNet，并提出了如何将对抗训练成功扩展到大型模型和数据集的建议，发现对抗训练能增加对单步攻击方法的鲁棒性，单步攻击方法比多步攻击方法更难以传递，使其成为发动黑盒攻击的最佳选择。研究还揭示了 “标签泄漏” 效应，因为对抗样本构建过程使用真实标签，模型可以学习利用构建过程的规律，使经过对抗训练的模型在对抗示例上表现比正常示例更好。

Nov, 2016