通过曲率正则化实现对抗鲁棒的数据集精炼
数据集蒸馏是一种高级技术，旨在将数据集压缩为较小的对应物，同时保持强大的训练性能。本研究引入了一个全面的基准，用于评估统一方式下研究到目前为止最广泛的蒸馏数据集的对抗鲁棒性。通过结合更广泛的数据集蒸馏方法、包括 TESLA 和 SRe2L 等最新进展，多样化的对抗攻击方法，以及对 ImageNet-1K 等更广泛和更全面的数据集的评估，我们的基准在之前的努力基础上显著扩展。此外，我们评估了这些蒸馏数据集对抗性攻击算法（如 PGD 和 AutoAttack）的鲁棒性，并从频率视角探索了它们的弹性。我们还发现，将蒸馏数据融入原始数据集的训练批次可以提高其鲁棒性。
Mar, 2024
通过结合聚类和风险度量的最小化算法，实现数据集精炼，具备对子群体的有效泛化和稳健性，为解决合成数据集在面对低人口密度地区样本时表现优秀的问题提供了理论依据和数值实验验证。
Feb, 2024
用单层优化的对抗性框架，从大型原始数据集中提取关键信息以合成更小的精简数据集并保持效果，可以在最小的 GPU 内存消耗下获得高测试准确率并在跨架构泛化中表现出优越性。
Dec, 2023
本文提出了一种数据集蒸馏的方法，通过集成剪断损失和梯度惩罚来调整专家轨迹参数的变化速率，并提出代表性初始化、均衡内环损失和权重摄动等增强策略，以解决现有方法在训练大型机器学习模型时存在的问题。实验结果表明，该方法在各种规模、大小和分辨率的数据集上明显优于之前的方法。
Oct, 2023
本论文提出了一个基于课程设置的数据集蒸馏框架，通过将从简单到复杂的课程进行逐步蒸馏，合理处理合成图像的生成和评估，进一步利用对抗优化改进图像的代表性，提高其在不同神经网络体系结构下的泛化能力和抗噪性，实现了大规模数据集蒸馏的新突破。
May, 2024
本文研究知识蒸馏过程中，如何将教师神经网络的鲁棒性传递给学生神经网络，并提出一种称为 Adversarially Robust Distillation (ARD) 的方法。实验证明，采用 ARD 的学生模型在鲁棒性上的表现明显优于采用相同结构的敌对训练网络，并在标准鲁棒性基准测试中超越了当前最先进的方法。
May, 2019
本研究旨在通过生成高质量的人工合成数据集，从而提高数据集的效率，我们提出了两种模型增强技术，使用早期模型和权重扰动学习具有显著减少培训成本的信息化合成集。实验结果表明，我们的方法达到了最先进的基线方法的速度提升达到 20 倍，并且性能相当。
Dec, 2022
通过同时考虑数据集精简和外部样本检测，我们提出了一种称为可信数据集精简的新范例，通过提取内部样本和异常样本，精炼的数据集可以训练能够进行内部分类和外部样本检测的模型。
Jul, 2023
通过降低攻击的可转移性，我们的研究试图增强集成模型的多样性，特别关注在曲率的影响下训练多个更多样且具有低曲率的网络模型，从而提高对各种攻击的鲁棒性。
Mar, 2024