标签平滑和 Logit 压缩：对抗训练的替代方案？

Oct, 2019

标签平滑和 Logit 压缩：对抗训练的替代方案？

Label Smoothing and Logit Squeezing: A Replacement for Adversarial Training?

Ali Shafahi, Amin Ghiasi, Furong Huang, Tom Goldstein

TL;DR通过研究对抗训练提高分类器鲁棒性的机制，本研究表明这些机制可以有效地通过简单的正则化方法（包括标签平滑和对数挤压）及高斯噪声注入来模仿，并且在不使用对抗性示例的情况下，我们能够达到强大的对抗性鲁棒性 -- 通常超过对抗性训练所能达到的水平。

Abstract

adversarial training is one of the strongest defenses against adversarial attacks, but it requires adversarial examples to be generated for every mini-batch during optimization. The expense of producing these exa

adversarial training adversarial examples robustness regularization methods gaussian noise injection

发现论文，激发创造

通过标签平滑实现对抗鲁棒性

研究了标签平滑作为改善监督深度学习模型对抗鲁棒性的手段，在多个数据集和模型上证明了标签平滑的普遍优越性以及提出了几种变化形式。

Jun, 2019

对抗性鲁棒性的压缩训练

本文提出了一种新的方法，利用协同示例来增强对抗性训练，从而在对抗性鲁棒性方面实现了新的最高水平。

May, 2022

Logit Pairing 方法可以欺骗基于梯度的攻击

通过研究，我们发现 Clean Logit Pairing (CLP) 和 Logit Squeezing (LSQ) 等方法仅仅增加了制造对抗样本的梯度优化难度并未真正提高分类器的对抗鲁棒性；我们提出的 Adversarial Logit Pairing (ALP) 方法可以在对抗训练的情况下提高分类器的对抗鲁棒性，但是这种提高远远低于之前所声明的。我们得出的结论是，模型对迭代 PGD 攻击的评估严重依赖所使用的参数，并可能导致关于模型鲁棒性的错误结论。

Oct, 2018

对抗性对数配对

本文提供了一种对抗性训练的改良技术 —— 对数配对方法，利用它可以用来防御对抗性攻击，并在 ImageNet 数据集上实现了最新的对抗性训练，并探究了其在这种情况下的有效性，同时提升了其精度表现。

Mar, 2018

对抗训练线性回归的正则化性质

最新机器学习模型存在脆弱性，而对抗训练是一种有效方法，本研究着重探究线性模型下的脆弱性，并对对抗训练在线性回归和其他正则化方法中的解决方案进行了比较分析。

Oct, 2023

局部线性化对抗鲁棒性

本文介绍了一种新型的正则化方法，该正则化方法鼓励在训练数据附近的损失行为呈线性，从而惩罚梯度混淆并鼓励鲁棒性。通过在 CIFAR-10 和 ImageNet 上的大量实验，我们展示了使用我们的正则化方法训练的模型避免了梯度混淆，并且比对抗训练能够更快地训练。使用这种正则化方法，我们在 ImageNet 上取得了 47% 的对抗准确率和 8/255 的和 CIFAR-10 同样的表现。

Jul, 2019

通过对抗训练平滑分类器实现可证明健壮的深度学习

本文提出使用对抗训练来提高基于随机平滑的分类器的效果，并设计一种适应平滑分类器的攻击方法，通过大量实验，得出这种方法在 ImageNet 和 CIFAR-10 上的性能显著胜过所有现有的可证明的 L2 - 强健分类器，证明了这种方法是可靠的，且半监督学习和预训练能够进一步提高其效果。

Jun, 2019

标签平滑化提高领域内外文本对抗鲁棒性

通过研究标签平滑策略在 NLP 领域不同任务中的应用，发现其可以有效地提高预训练模型的对抗鲁棒性，特别是在对抗攻击方面，并降低过度自信错误。

Dec, 2022

通过逻辑调整实现长尾学习

本文介绍了两种简单的技术对抗现实场景中数据标签分布的不平衡性，包括采用标签频率进行 logistic 校准以及在训练过程中强制实施其中之一或两种技术能够鼓励罕见标签与支配标签之间拥有一个相对较大的罕见标签较大的标签在一些学习情况中具有更好的表现。

Jul, 2020

通过对抗性输出日志更新推进对抗鲁棒性

在这项研究中，从理论的角度分析了成功的对抗攻击周围的逻辑差异，并提出了一种新的原则，即 Adversarial Logit Update (ALU)，用于推断对抗样本的标签。基于 ALU，引入了一种新的分类范式，利用预净化和后净化的逻辑差异来提高模型的对抗鲁棒性。经过广泛实验证明，所提出的解决方案在 CIFAR-10、CIFAR-100 和 tiny-ImageNet 数据集上相对于最先进的方法具有卓越的鲁棒性能。

Aug, 2023