自适应认证培训：追求更好的准确性与鲁棒性之间的权衡

Jul, 2023

自适应认证培训：追求更好的准确性与鲁棒性之间的权衡

Adaptive Certified Training: Towards Better Accuracy-Robustness Tradeoffs

Zhakshylyk Nurlanov, Frank R. Schmidt, Florian Bernard

TL;DR在此研究中，我们提出了一种基于自适应认证半径训练的新方法，旨在在保持高标准准确性的同时，提高模型的鲁棒性和准确性，从而推进现有准确性与鲁棒性的权衡。我们在MNIST、CIFAR-10和TinyImageNet数据集上验证了该方法的有效性，尤其在CIFAR-10和TinyImageNet上，与基准方法相比，我们的方法在相同标准准确性水平下能够提供高达两倍的鲁棒性。

Abstract

As deep learning models continue to advance and are increasingly utilized in real-world systems, the issue of robustness remains a major challenge. Existing certified training methods produce models that achieve

发现论文，激发创造

MixTrain: 可验证鲁棒神经网络的可扩展训练

通过提出一种名为MixTrain的新技术，本文旨在大大提高以往可检验证训练的效率，并维持高标准的可靠性，实现了在少量训练时间内，其鲁棒性达到95.2％，相较于现有的可检验证训练方法快3倍，而相对于对抗性训练快15倍，并且具有较好的扩展性。

Nov, 2018

通过深度模型集成增强可证明的鲁棒性

本文提出了一种算法，通过优化加权基本模型，对深度模型群集的认证稳健性进行增强，实验结果证明了该算法可以形成比 naive 平均所有可用模型更为稳健的群集，并且通常具有更好的准确性。

Oct, 2019

深度神经网络可靠性认证

本文对深度神经网络抗对抗攻击的可靠性进行了研究和分析，并提出了目前的防御方法以及相应的理论和实践意义和发现，最后在不同数据集上提供了全面的鲁棒性验证和训练方法。

Sep, 2020

利用生成的数据提高鲁棒性

本文探讨了如何使用仅基于原始训练集的生成模型来人为地增加原始训练集的大小并提高对扰动的鲁棒性，并证明了即使添加非现实的随机数据也可以提高鲁棒性。在CIFAR-10、CIFAR-100、SVHN和TinyImageNet上进行了大量的绝对准确度改进，对于常见扰动的数据集，本文方法的结果优于大多数使用外部数据的先前工作。

Oct, 2021

基于扩散模型的认证对抗性容忍度提高

使用最先进的扩散模型生成额外的训练数据可以极大地提高敌对训练的鲁棒性，该方法同样可以明显提高确定性认证防御的鲁棒性，我们还提供了一些建议来扩展认证训练方法的鲁棒性。

May, 2023

使用凸松弛进行认证训练会影响鲁棒性能

本文介绍了在安全关键应用中，对抗攻击对部署最先进的分类器构成重大威胁；总体上，经验证的防御方法虽然具有鲁棒性保证，但是实践中的对抗训练比较受欢迎。我们系统性地比较了这两种鲁棒性训练方法在多个计算机视觉任务中的标准错误和鲁棒错误，结果表明，在大多数任务和威胁模型下，采用凸松弛的认证训练比采用对抗训练更容易带来标准错误和鲁棒错误。此外，我们还探讨了认证和对抗训练之间的错误差距如何依赖于威胁模型和数据分布，并且除了扰动预算外，我们还确定了扰动集的形状和数据分布的隐式边缘等重要因素。本文在合成和图像数据集上进行了大量消融实验，证明我们的观点。

Jun, 2023

朝着高准确度的概率鲁棒性认证

通过提出一种新的方法，同时追求高准确性和具有认证的概率鲁棒性，我们的实验显示该方法在多个模型和数据集上的认证率和准确性方面明显优于现有方法。

Sep, 2023

神经网络的认证稳健准确性由于贝叶斯误差有界

通过采用贝叶斯误差进行韧性分析，本文探讨了在考虑数据分布的不确定性的情况下，获得可证实韧性和保持准确性的极限，并建立了基于个别类别和边界分布的可证实韧性准确性的上界。

May, 2024

应对再现性危机：验证认证鲁棒性的案例研究

本文通过案例研究验证了复现性危机对对抗性鲁棒性研究的影响，提出了解决方案，强调了合作和标准化努力的必要性，并倡导了确保研究结果可靠和有效的最佳实践。

May, 2024

CTBENCH：认证训练库和基准

CTBENCH是一个统一的库和高质量的基准测试，用于证明训练。通过在公平设置和系统调整的超参数下评估所有算法，CTBENCH展示了几乎所有算法超越了文献中所报道的性能，并建立了新的最先进方法，同时揭示了近期算法的优势在强化基线后明显减弱。基于CTBENCH，我们为当前的证明训练状态提供了新的见解，并提出了未来的研究方向。我们相信CTBENCH将成为证明训练未来研究的基准和测试平台。

Jun, 2024