利用差分隐私的强鲁棒性异常检测与后门攻击检测
我们的研究利用可解释的人工智能(XAI)和差分隐私(DP)之间的权衡,通过 SHapley Additive exPlanations (SHAP) 和差分隐私 (DP) 进行异常检测(AD),并对不同的模型和各种数据集进行了全面评估,结果显示,隐私保护对检测准确性和可解释性有显著影响,这取决于数据集和所考虑的异常检测模型,同时我们 还发现,AD 算法的选择也会影响解释的可视化。
Apr, 2024
本文旨在研究数据污染攻击及其对机器学习的影响,提出差分隐私保护措施以防范攻击, 并设计了攻击算法,试图从目标和输出的角度影响学习器,实验结果表明,攻击者在污染足够多的训练数据时,攻击方法的有效性较高。
Mar, 2019
首次从防守者和攻击者的角度对扩散模型进行了系统研究,探索了被破坏的扩散模型中毒噪声输入的可检测性和躲避机制,并提出了基于分布差异的低成本触发器检测方法。
Feb, 2024
隐形功能型后门攻击对训练神经网络构成了严重的安全威胁,本文提出了一种基于扩散模型及知识蒸馏的新方法,能够在潜在受污染的数据集上训练模型,并生成具备对抗后门触发的鲁棒性的学生模型。
Oct, 2023
通过分析训练数据的结构信息,我们对反向门攻击问题提出了一种不同的方法,指出这些攻击在一般情况下是不可能被检测到的。基于此观察,我们重新审视了现有的反向门攻击防御措施并对其隐含的假设进行了表征。最后,基于假设条件,我们提出了一种新的原始方法来检测反向门攻击,并开发了一个具有理论保证且实用的检测算法。
Jul, 2023
本研究提出一种在未标记异常情况下训练异常检测器的策略,通过联合推断二进制标签(正常 vs. 异常)并更新模型参数来使用两个损失的组合,表现出比基准测试更显著的改进。
Feb, 2022
通过实证研究,我们调查了 DP-SGD 和 PATE 在防止后门攻击方面的有效性,并首次检验了 PATE 在文献中的作用。我们的实验揭示了超参数和训练数据集中后门数量对 DP 算法成功的影响。此外,我们提出了 Label-DP 作为 DP-SGD 和 PATE 的更快、更准确的替代方法。我们得出的结论是,尽管 Label-DP 算法通常提供较弱的隐私保护,但准确的超参数调整可以使其在防御后门攻击并保持模型准确性方面更有效。
Nov, 2023