TAPS：连接认证和对抗性训练

May, 2023

TAPS: Connecting Certified and Adversarial Training

Yuhao Mao, Mark Niklas Müller, Marc Fischer, Martin Vechev

TL;DR本文提出了一种结合 IBP 和 PGD 训练的（不精确）认证训练方法 TAPS，通过减少过度正则化和提高准确度来实现精确但不一定可靠的最坏情况损失逼近，在很多方面取得了新的最好结果。

Abstract

Training certifiably robust neural networks remains a notoriously hard problem. On one side, adversarial training optimizes under-approximations of the worst-case loss, which leads to insufficient regularization

certified training robust neural networks adversarial training ibp pgd training

发现论文，激发创造

理解带间隔传播的认证培训

该论文研究了基于粗略区间边界传播（IBP）的证明训练方法，探讨了其较高的成功率和紧密性机制，并说明了其在可证明的训练中鲜明的鲁棒性和准确性之间的权衡。

Jun, 2023

基于分支定界的 IBP 正则化方法实现验证性对抗攻击鲁棒性

IBP-R 是一种新颖的验证训练算法，使用扩大的域上的对抗攻击和正则化术语，并使用廉价的间隔边界传播来最小化非凸验证问题与其近似之间的差距。通过利用最近的分支换框架，我们展示了 IBP-R 获取了 CIFAR-10 上小扰动的最新验证鲁棒性 - 准确性折衷，并且比相关先前的工作训练要快得多。

Jun, 2022

朝着稳定和高效的可验证鲁棒神经网络训练

本文提出了一种名为 CROWN-IBP 的新认证敌对训练方法，该方法结合了快速的 IBP 边界传播和基于紧线性松弛的后向传播，能够高效地提供强大的神经网络分类器，并在 MNIST 和 CIFAR-10 数据集上超过以往所有的线性松弛和边界传递认证防御的最佳结果

Jun, 2019

关于使用区间边界传播进行有保证鲁棒性训练的收敛性

本研究就 Interval Bound Propagation 的训练过程进行了理论分析，证明了当神经网络使用该方法进行训练时，具有一定的鲁棒性保证，并可以在有足够小的扰动半径和大网络宽度的情况下，使用梯度下降法线性收敛到零的鲁棒训练误差。

Mar, 2022

通过凸组合实现验证鲁棒性的表达损失函数

通过对抗攻击和 IBP 限制的简单凸组合，达到了优秀的效果，并在 TinyImageNet 和缩小的 ImageNet 中在 l∞扰动为 0.0039 时，从文献中的最佳标准和验证准确率上，提高了 1.98％至 3.92％的结果。

May, 2023

鲁棒训练的预期紧界

通过期望较紧的下界（ETB），我们可以将 IBP 的置信区间传播方法扩展到更深的神经网络，通过简单的标准训练程序在 MNIST 和 CIFAR10 上实现了令人印象深刻的鲁棒性 - 准确性平衡。

May, 2019

有针对性的激活罚则帮助 CNN 忽略虚假信号

神经网络（NN）可以学习依赖于训练数据中的虚假信号，从而导致很差的泛化能力。最近的研究针对该问题使用附加的虚假信号的真实注释来训练 NNs。然而，这些方法可能导致虚假信号在深度卷积 NNs（CNNs）中重新出现。我们提出了一种新方法，即目标激活惩罚（TAP），通过罚则来控制深度 CNNs 中虚假信号的重新出现，同时降低训练时间和内存使用。此外，真实注释可能需要费用较高。我们展示了 TAP 对 MNIST 基准测试和两个临床图像数据集的两种最先进方法的优势，使用四种不同的 CNN 架构，并表明 TAP 仍然适用于由预训练模型生成的注释作为真实注释的有效替代。

Sep, 2023

用高斯平滑克服认证培训的悖论

使用高於對手的準確度訓練神經網絡仍然是一個尚未解決的問題。本文通過理論和實驗，證明了高斯損失平滑方法可以改善這個問題，並提出一種結合 PGPE 和不同凸放松方法的訓練方法，使得得到的網絡優於同類型網絡的最先進方法。儘管計算成本仍然具有挑戰性，但本研究結果明確展示了高斯損失平滑在訓練可靠神經網絡中的潛力。

Mar, 2024

MixTrain: 可验证鲁棒神经网络的可扩展训练

通过提出一种名为 MixTrain 的新技术，本文旨在大大提高以往可检验证训练的效率，并维持高标准的可靠性，实现了在少量训练时间内，其鲁棒性达到 95.2％，相较于现有的可检验证训练方法快 3 倍，而相对于对抗性训练快 15 倍，并且具有较好的扩展性。

Nov, 2018

区间传播对于训练可验证鲁棒性模型的有效性研究

通过分析，我们展示了如何利用一种简单的边界技术（interval bound propagation，IBP）来训练大型保正可证神经网络，从而打败了验证准确率最高的现有技术，在 MNIST，CIFAR-10 和 SVHN 数据集上达到了最先进的结果。

Oct, 2018