异常鲁棒性对抗训练

Sep, 2023

Outlier Robust Adversarial Training

Shu Hu, Zhenhuan Yang, Xin Wang, Yiming Ying, Siwei Lyu

TL;DR基于异常值健壮的对抗训练（ORAT）是在传统健壮学习方法和最近的对抗训练方法的基础上开发的，以同时处理低质量训练数据和推理时的敌对攻击，并在三个基准数据集上展示了其有效性和鲁棒性。

Abstract

supervised learning models are challenged by the intrinsic complexities of training data such as outliers and minority subpopulations and

supervised learning models outliers minority subpopulations adversarial training robustness

发现论文，激发创造

有效且稳健的对抗训练以应对数据和标签损坏

我們提出了一種有效且強健的對抗訓練 (ERAT) 框架，能夠同時處理兩類污染 (即數據和標籤)，而不需要事先了解其具體信息。我們通過混合對抗訓練和基於類平衡樣本選擇的半監督學習提高了模型對雙重污染的韌性。大量實驗證明了我們提出的 ERAT 框架的優越性。

May, 2024

面向未知标签噪音和不平衡数据集的全能对抗训练

本研究提出了全能对抗训练（OAT）方法来解决训练集中不平衡数据和有噪声的数据集，其策略包括两种创新方法：引入 Oracle 来帮助模型学习正确的数据标签条件分布，并提出 logits 调整对抗训练来克服数据不平衡的挑战。全面的评估结果表明，OAT 在数据不平衡和标签噪声的复杂组合情况下比其他基线模型具有 20％以上的清洁准确率提高和 10％的健壮性提高。

Jul, 2023

认证鲁棒神经网络：泛化和抗污染性

通过提出综合强健的（HR）训练程序，理论和实验证明了其在对抗错误损失方面具有 SOTA 性能，并克服了在敌对训练中普遍存在的过度拟合问题。

Mar, 2023

ATRO: 带有拒绝选项的对抗训练

本文提出了 Adversarial Training with a Rejection Option (ATRO) 的分类框架，以减轻对抗样本带来的性能恶化问题，并在实验中证实了此方法的有效性。

Oct, 2020

ATOM: 使用异常值挖掘强化外部数据分布检测

本研究提出了一种理论上动机驱动、运用了有意义外部数据挖掘的对抗训练算法 ATOM，从而提高了深度学习模型的 Out-of-Distribution Detection 能力，在包括对抗式输入在内的广泛经典 OOD 检测任务中，实现了最佳性能。

Jun, 2020

一次性全面对抗训练：在现场实现健壮性和准确性的权衡

本文提出了 Once-for-all Adversarial Training (OAT) 和 Once-for-all Adversarial Training and Slimming (OATS) 框架，可以在不重新训练模型的情况下，调整模型在标准准确度和鲁棒准确度之间的权衡，并达到类似或超越专门训练的模型的性能。

Oct, 2020

对抗训练中强健过拟合的开始

深度学习的鲁棒训练中存在的过拟合问题可通过攻击强度和数据增强等措施来减轻，这些措施能阻止神经网络学习无效特征，从而提高鲁棒性。

Oct, 2023

扩展对抗训练以应对大扰动界限

本文提出一种新的方法，通过 Oracle-Aligned Adversarial Training (OA-AT) 的方式来提高神经网络对抗攻击的鲁棒性，可以在大的扰动（如 L-inf bound 为 16/255 时）达到最先进的性能，同时在标准边界（8/255）也胜过现有的防御机制。

Oct, 2022

对抗鲁棒性和可解释性的二阶优化

提出了一种使用二次近似的拟合函数的新型规则化器，并通过迭代计算逼近最坏情况二次损失，从而在具有良好的鲁棒性的同时避免了梯度混淆和降低了训练时间。实验证明，该模型产生的人类可解释性特征优于其他几何正则化技术，并且这些鲁棒特征可用于提供人性化的模型预测解释。

Sep, 2020

对抗鲁棒性的一种一致性正则化方法

本文提出了一种通过优化辅助一致性规则损失来避免鲁棒过度拟合的有效正则化技术，在 Adversarial training 过程中使用数据扩增来强制攻击后的预测分布相似。实验结果表明，这种简单的方法可以显著提高各种 AT 方法的测试准确性，并对模型作出更具实际意义的泛化。

Mar, 2021