Nov, 2023

重新思考数据集蒸馏中的后门攻击：基于核方法的视角

PDF
TL;DR基于核方法的数据集精简是数据效率提升的一种潜在手段，本研究通过理论研究与实验分析，提出了专门用于数据集精简的两种新的基于理论的触发器模式生成方法，证明了我们的基于优化的触发器设计框架可以有效地实施反向攻击，并验证了使用我们方法开发的触发器在执行弹性反向攻击方面的熟练程度。
发现论文，激发创造
  • 数据集精炼修复数据集重构攻击

    本文提出数据集重构攻击，并阐明该攻击的实现和特征，同时证明了数据集重构攻击与数据集蒸馏之间的关系，可通过蒸馏算法设计防御机制，以提高深度学习中保护隐私的能力。

    Feb, 2023

  • 在能力受限情况下发起强大的后门攻击

    本研究探讨了在能力限制内实施黑盒后门攻击的可能性，通过设计后门触发器，攻击者可以在没有参与训练过程或了解目标模型结构的情况下作为图像注释者或供应商从事此类攻击。实验结果表明，我们的方法在黑盒场景中实现了高攻击成功率，并逃过了最先进的后门防御。

    Apr, 2023

  • 数据集精炼的全面研究：性能、隐私、鲁棒性和公平性

    通过分析压缩数据集技术对隐私、模型鲁棒性和公平性的影响，本文提出了一个评估这一技术的大规模基准测评框架。

    May, 2023

  • 基于蒸馏的深度神经网络对抗性扰动防御

    本研究介绍了一种防御机制，名为防御蒸馏，用于减少对深度神经网络的对抗样本的影响，并通过理论和实验证明了该机制在培训深度神经网络时具有通用性和鲁棒性。

    Nov, 2015

  • 预训练编码器中蒸馏在缓解后门中的有效性

    本研究探索了在 SSL 中针对恶意编码器的一种叫作蒸馏的防御方法，蒸馏最初用于监督学习，其目的是从给定模型（即教师网络）中提取知识并传递给另一个模型（即学生网络），现在我们使用它来从被恶意植入的预训练编码器中提取良性知识并传递给一个新的编码器，以获得一个干净的预训练编码器。通过对两种顶级的预训练图像编码器和四种常用的图像分类数据集进行实验研究，我们的实验结果表明，蒸馏可以将攻击成功率从 80.87% 降低至 27.51%，但精度损失为 6.35%。此外，我们研究了蒸馏的三个核心组成部分：教师网络、学生网络和蒸馏损失对性能的影响，通过比较 4 个不同的教师网络、3 个不同的学生网络和 6 种不同的蒸馏损失，我们发现，精调过的教师网络、基于预训练训练的学生网络和基于注意力的蒸馏损失效果最佳。

    Mar, 2024

  • 改进数据集精炼的跨架构泛化

    使用模型池方法进行数据蒸馏，结合知识蒸馏技术进行测试，从而创造出小规模合成数据集，在性能上表现优于现有方法。

    Feb, 2024

  • 数据集精简遇见可证明的子集选择

    本文提出了一种在数据集精馏中初始化样品集的可证明的基于采样的方法，并将数据子集选择的思想与数据集精馏相结合，通过相对贡献的实例的概念优化性能。

    Jul, 2023

  • 通过对抗预测匹配进行数据集压缩

    用单层优化的对抗性框架，从大型原始数据集中提取关键信息以合成更小的精简数据集并保持效果，可以在最小的 GPU 内存消耗下获得高测试准确率并在跨架构泛化中表现出优越性。

    Dec, 2023

  • 数据集精炼综述：方法、应用与未来方向调查

    该篇研究论文综述了数据集蒸馏的方法、应用和挑战，并提出了数据集内部信息密度的概念，旨在为后续的研究方向提供参考。

    May, 2023

  • 利用助教提高防御性蒸馏

    该项目研究深度神经网络中的对抗攻击并探讨防御性蒸馏的方法，提出通过引入辅助网络来改善蒸馏模型的鲁棒性，并通过实验证明该方法的有效性及其对模型准确性的影响。

    May, 2023