Mar, 2024

DD-RobustBench: 数据集提炼的敌对鲁棒性基准测试

HTML
PDF
TL;DR数据集蒸馏是一种高级技术，旨在将数据集压缩为较小的对应物，同时保持强大的训练性能。本研究引入了一个全面的基准，用于评估统一方式下研究到目前为止最广泛的蒸馏数据集的对抗鲁棒性。通过结合更广泛的数据集蒸馏方法、包括TESLA和SRe2L等最新进展，多样化的对抗攻击方法，以及对ImageNet-1K等更广泛和更全面的数据集的评估，我们的基准在之前的努力基础上显著扩展。此外，我们评估了这些蒸馏数据集对抗性攻击算法（如PGD和AutoAttack）的鲁棒性，并从频率视角探索了它们的弹性。我们还发现，将蒸馏数据融入原始数据集的训练批次可以提高其鲁棒性。
发现论文，激发创造
  • 对抗鲁棒性基准测试

    本研究旨在建立一个全面、严谨、连贯的标准来评估对抗性鲁棒性，通过两个鲁棒性曲线作为公正的评估标准来进行大规模实验，全面掌握攻击与防御方法的表现并得出重要结论和未来研究的启示。

    Dec, 2019

  • 一个标准的对抗鲁棒性基准测试RobustBench

    为了建立标准化的对抗性鲁棒性基准，我们考虑了图片分类任务，并引入了允许的模型限制，使用 AutoAttack 进行评估，同时提供80多种鲁棒模型的开源库，分析了鲁棒性对分布偏移、平滑性等性能的影响。

    Oct, 2020

  • 重新审视对抗性鲁棒性蒸馏：鲁棒的软标签让学生更好

    本研究使用了知识蒸馏的概念来提高小模型的鲁棒性，旨在改善在存储或计算资源非常有限的情况下对小型模型的有效性。通过使用Robust Soft Label Adversarial Distillation（RSLAD）来训练鲁棒的小学生模型，完全利用了由Robust（对抗训练）大教师模型产生的鲁棒软标签来引导学生的学习。该方法在提高小型模型对AutoAttack等最先进攻击的鲁棒性方面表现出优异的效果，并为对抗鲁棒性蒸馏的Robust Soft标签的重要性提供了一组理解。

    Aug, 2021

  • RobustART：建筑设计和训练技术鲁棒性基准测试

    提出了RobustART，对ImageNet的ARchitecture设计和Training技术进行了全面的稳健性调查基准，验证了对于Transformer和MLP-Mixer，Adversarial训练在稳健性方面是有效的，CNNs > Transformers > MLP-Mixers在稳健性方面表现更好，RobustART为深入了解设计强大的DNNs机制提供了新的视角。

    Sep, 2021

  • RobustBench/AutoAttack对于对抗性鲁棒性是否是一个合适的评测标准？

    本篇研究讨论了RobustBench在实际应用中作为鲁棒性关键指标的适用性，通过对该平台中数据更改和分辨率等方面的分析实验，提出了两个观点：一是数据更改强度过大，无法反映真实情况；二是基于梯度的攻击在低分辨率上表现较好，但对于高分辨率数据不具有泛化能力。

    Dec, 2021

  • RobArch：设计抗击恶意攻击的稳健架构

    本研究通过对DNN体系结构组件进行大规模系统研究，提炼出18个可操作的鲁棒网络设计准则，构建了一系列在参数容量上对抗攻击稳健的模型家族，并介绍了新型Robust Architecture (RobArch)模型的应用。通过我们的实验，RobArch在RobustBench ImageNet排行榜上的AutoAttack准确性达到了新的state-of-the-art。

    Jan, 2023

  • 数据集精炼的全面研究：性能、隐私、鲁棒性和公平性

    通过分析压缩数据集技术对隐私、模型鲁棒性和公平性的影响，本文提出了一个评估这一技术的大规模基准测评框架。

    May, 2023

  • 通过对抗预测匹配进行数据集压缩

    用单层优化的对抗性框架，从大型原始数据集中提取关键信息以合成更小的精简数据集并保持效果，可以在最小的GPU内存消耗下获得高测试准确率并在跨架构泛化中表现出优越性。

    Dec, 2023

  • 通过曲率正则化实现对抗鲁棒的数据集精炼

    研究提出了一种新方法，通过在蒸馏过程中加入曲率正则化，使得在生成的数据集上训练的模型在保持高准确性的同时获得更好的敌对鲁棒性，而且计算开销更小。实验证明该方法在准确性和鲁棒性方面都优于标准的敌对训练，并能生成经受住各种敌对攻击的鲁棒蒸馏数据集。

    Mar, 2024

  • TabularBench：现实应用中表格深度学习的对抗鲁棒性基准测试

    本研究针对表格深度学习中对抗攻击的不足进行了探讨，特别是缺乏标准化基准的问题。我们提出了TabularBench，这是首个全面评估表格深度学习分类模型鲁棒性的基准测试，揭示了针对表格模型的有效攻击方法。该工作为金融、医疗和安全领域提供了超过200种模型的基准数据，并提供了可以促进新防御机制设计的关键见解。

    Aug, 2024