Mar, 2024

DD-RobustBench: 数据集提炼的敌对鲁棒性基准测试

PDF
TL;DR数据集蒸馏是一种高级技术，旨在将数据集压缩为较小的对应物，同时保持强大的训练性能。本研究引入了一个全面的基准，用于评估统一方式下研究到目前为止最广泛的蒸馏数据集的对抗鲁棒性。通过结合更广泛的数据集蒸馏方法、包括 TESLA 和 SRe2L 等最新进展，多样化的对抗攻击方法，以及对 ImageNet-1K 等更广泛和更全面的数据集的评估，我们的基准在之前的努力基础上显著扩展。此外，我们评估了这些蒸馏数据集对抗性攻击算法（如 PGD 和 AutoAttack）的鲁棒性，并从频率视角探索了它们的弹性。我们还发现，将蒸馏数据融入原始数据集的训练批次可以提高其鲁棒性。
dataset distillationcompressed datasetsadversarial robustnessbenchmarkadversarial attack algorithms
发现论文，激发创造
  • 通过曲率正则化实现对抗鲁棒的数据集精炼

    研究提出了一种新方法，通过在蒸馏过程中加入曲率正则化，使得在生成的数据集上训练的模型在保持高准确性的同时获得更好的敌对鲁棒性，而且计算开销更小。实验证明该方法在准确性和鲁棒性方面都优于标准的敌对训练，并能生成经受住各种敌对攻击的鲁棒蒸馏数据集。

    Mar, 2024

  • 通过对抗预测匹配进行数据集压缩

    用单层优化的对抗性框架，从大型原始数据集中提取关键信息以合成更小的精简数据集并保持效果，可以在最小的 GPU 内存消耗下获得高测试准确率并在跨架构泛化中表现出优越性。

    Dec, 2023

  • 数据集精炼的全面研究：性能、隐私、鲁棒性和公平性

    通过分析压缩数据集技术对隐私、模型鲁棒性和公平性的影响，本文提出了一个评估这一技术的大规模基准测评框架。

    May, 2023

  • 关于精简数据集的多样性和真实性：一种高效的数据集精简范式

    用于大规模真实数据集的数据集压缩方法 RDED 能够在短短 7 分钟内将完整的 ImageNet-1K 压缩为每类只有 10 张图像的小型数据集，并在单个 RTX-4090 GPU 上以 42% 的 Top-1 精度实现了显著的性能提升（而目前最先进方法仅达到 21% 的精度，且需要 6 小时）。

    Dec, 2023

  • 对抗鲁棒蒸馏

    本文研究知识蒸馏过程中，如何将教师神经网络的鲁棒性传递给学生神经网络，并提出一种称为 Adversarially Robust Distillation (ARD) 的方法。实验证明，采用 ARD 的学生模型在鲁棒性上的表现明显优于采用相同结构的敌对训练网络，并在标准鲁棒性基准测试中超越了当前最先进的方法。

    May, 2019

  • 组分布稳健数据集蒸馏及风险最小化

    通过结合聚类和风险度量的最小化算法，实现数据集精炼，具备对子群体的有效泛化和稳健性，为解决合成数据集在面对低人口密度地区样本时表现优秀的问题提供了理论依据和数值实验验证。

    Feb, 2024

  • 评估神经网络的鲁棒性

    本研究介绍了新型攻击算法，证明了防御蒸馏并不能显著提升神经网络的强度，提供了高置信度的对抗性样本用于简单的可迁移性测试，该测试可以用于破解防御蒸馏。

    Aug, 2016

  • 大数据时代的数据集精炼

    使用课程数据增强方法，在大规模的 ImageNet-1K 和 ImageNet-21K 数据集上实现了最佳准确度，并在准确度上超越了目前的最先进模型。

    Nov, 2023

  • 数据集精简遇见可证明的子集选择

    本文提出了一种在数据集精馏中初始化样品集的可证明的基于采样的方法，并将数据子集选择的思想与数据集精馏相结合，通过相对贡献的实例的概念优化性能。

    Jul, 2023

  • 简单数据集压缩

    通过 RaT-BPTT 方法解决数据集精炼的核心问题，从而建立起一种新的数据集精炼技术，用于生成包含近乎最佳性能子集的精炼数据集。

    Nov, 2023