将对抗鲁棒性普适性与平坦极小值联系起来

ICCVApr, 2021

将对抗鲁棒性普适性与平坦极小值联系起来

Relating Adversarially Robust Generalization to Flat Minima

David Stutz, Matthias Hein, Bernt Schiele

TL;DR本文研究了 Robust Generalization 与 Robust Loss Landscape 的关系，设计了衡量该 Landscape 平坦性的度量，并验证了平坦的 Landscape 有助于提高 Adversarial Training 的鲁棒性与泛化性能。

Abstract

adversarial training (AT) has become the de-facto standard to obtain models robust against adversarial examples. However, AT exhibits severe robust overfitting: cross-entropy loss on adversarial examples, so-called robust loss, decreases continuously on training examples, while eventua

adversarial training robust generalization robust loss landscape flatness weight perturbation

发现论文，激发创造

对抗性权重扰动有助于稳健泛化

本文研究了通过对抗性样本训练神经网络的鲁棒性问题，提出了通过实现加权损失对抗扰动机制进行对抗性训练的方案，从而解决了加权损失在以往对抗性训练中的不足。

Apr, 2020

通过达到平坦的局部最大值提高对抗迁移性

本文提出一种新方法来生成攻击模型的对抗样本，该方法结合了平稳局部区域和梯度规范化来获得更好的迁移性，实验结果在 ImageNet 兼容数据集上表明此方法比现有的攻击方法能够更好地提高模型的迁移性。

Jun, 2023

走向公平感知的对抗学习

在这篇论文中，我们提出了一种名为公平感知对抗学习（FAAL）的新的学习范式，通过将鲁棒训练问题重新定义为最小 - 最大 - 最大框架，以确保训练模型的鲁棒性和公平性。具体而言，通过利用分布鲁棒优化，我们的方法旨在在不同类别之间找到最差的分布，解决方法保证了高概率的上界性能。FAAL 可以在仅两个迭代周期内将一个不公平的鲁棒模型调整为公平模型，而不牺牲整体准确性和鲁棒性，实验证明了 FAAL 相对于其他先进方法的卓越性能和高效性。

Feb, 2024

透过损失函数几何理解对抗鲁棒性

本研究探索了使用对抗训练数据增强作为显式正则化技术的后果，发现这种经常使用的对抗增强技术实际上并没有导致更平的损失平面，需要重新思考对抗训练泛化以及泛化和损失平面几何之间的关系。

Jul, 2019

通过 Taylor 展开的随机对抗训练

在此研究中，通过将随机噪声添加到确定性权重中，基于 Taylor 展开设计了一种新的对抗训练方法，可以调和抗干扰性和准确性之间的权衡，同时提高两者的表现。

Mar, 2023

相对平坦度感知的最小化（FAM）

通过引入一种相对平坦度度量方法，本研究提出一种新的正则化器，该正则化器易于计算、快速高效，适用于各种损失函数，可以在单层网络上计算海森矩阵，提高模型的泛化性能，有效避免了损失曲面映射的昂贵代价。

Jul, 2023

关于尖锐度感知极小化和对抗性训练之间的对偶性

通过对比 Adversarial Training (AT) 和 Sharpness-Aware Minimization (SAM) 的对偶关系，本研究发现单独使用 SAM 可以提高对抗性稳健性，同时不牺牲准确性，这为将 SAM 作为准确性较高的替代方案提供了新的可能性。

Feb, 2024

对抗性权重扰动提高图神经网络的泛化性能

该论文研究了 Adversarial Weight Perturbation 在图形数据上的应用及其与局部最小值和泛化之间的联系。结果表明，通过该方法正则化图神经网络能够提高自然和鲁棒泛化能力。

Dec, 2022

熵梯度下降算法与宽平坦最小值

论文讨论了神经网络的经验风险景观的平坦极小值的特性，提出了增加最大平坦度算法，可以得到更好的分类效果。

Jun, 2020

对抗分布式训练用于强健深度学习

本文提出了一种新的模型训练框架 - 对抗分布式训练（ADT），通过最小值最大化优化问题，训练模型来学习处理各种威胁。ADT 的有效性也在几个基准测试中得到了验证。

Feb, 2020