如果不理解就不要使用:通过层间过滤器消除木马
本文提出了一种新的训练免费的攻击方法,使用一个小的特洛伊模块(TrojanNet)将恶意特征插入目标模型,该模型通过特殊标记对输入进行标记,并将所有标签注入特洛伊,攻击成功率达到100%,且不会影响模型在原始任务上的准确性。
Jun, 2020
探讨如何检测 DNN 在受到 Backdoor 攻击后的 Trojan,提出新颖的优先条件,如多样性和拓扑简单性,来增加发现合适触发器的可能性和改善触发器的质量,从而有效地提高了 Trojan 进行检测的准确性。
Oct, 2021
研究了深度神经网络中的后门攻击,发现了后门相关神经元和正常神经元之间的本质差异,并设计了一种新的训练方法,可以有效地防御注入后门,实验证明其效果显著。
Feb, 2022
该研究致力于通过利用知识蒸馏过程中的未标记数据,在不引起教师模型明显异常行为的情况下,向学生模型中嵌入木马攻击,从而最终设计出一种可以有效降低学生模型准确性、不改变教师模型性能且在实践中构造高效的 Trojan 攻击。
Mar, 2023
本文针对基于Prompt学习的预训练语言模型API的安全问题进行了研究,提出了TrojPrompt框架以解决现有的后门攻击问题,并在现实世界的黑盒预训练语言模型API中成功插入了木马,同时保持出色的性能。
Jun, 2023
大语言模型(LLMs)在各个领域展示出了显著的能力,但它们对木马或后门攻击的脆弱性带来了重大的安全风险。本研究探讨了通过特洛伊检测竞赛2023(TDC2023)获得的挑战和见解,该竞赛的重点是识别和评估对LLMs的特洛伊攻击。我们研究了区分有意和无意触发器之间的困难,以及在实际情况中逆向工程特洛伊的可行性。我们对各种特洛伊检测方法进行了比较分析,发现实现高召回率比获得高逆向工程攻击成功率(REASR)更具挑战性。竞赛中表现最佳的方法实现了约0.16的召回率,与从与训练前缀类似的分布中随机抽取句子的简单基线相当。这一发现提出了关于仅给定有害目标的情况下模型中插入的特洛伊的可检测性和恢复性的问题。尽管无法完全解决问题,但该竞赛揭示了关于特洛伊检测的可行性和改进LLM输入提示技术的有趣观察。无意触发器的现象及其与有意触发器的区分困难突显了对LLMs的鲁棒性和可解释性进行进一步研究的需求。TDC2023对于特洛伊检测在LLMs中的挑战和机遇提供了宝贵的见解,为今后在这一领域确保其在实际应用中的安全性和可靠性奠定了基础。
Apr, 2024
大型语言模型在软件开发中提供了许多令人兴奋的新功能,然而,这些模型的不透明性使得它们难以理解和检查,其不透明性带来了潜在的安全风险,因为对手可以训练和部署被损害的模型来干扰受害组织的软件开发过程,本研究总结了当前大型代码语言模型中特洛伊木马攻击的最新进展,并重点关注触发器——特洛伊木马的主要设计要点,同时用一种新颖的触发器分类框架提供统一的定义。我们还希望对Code LLMs领域中的基本概念给出一个统一的定义,并对触发器设计对代码模型学习的影响进行讨论。
May, 2024
插入语言模型中的木马可以在对其进行细化以确定产品评价情感等特定应用时进行。本文阐明并实证探索数据污染威胁模型的各种变体,然后实证评估两种简单的防御策略,针对不同的防御场景。最后,对相关的攻击和防御进行简要调查。
Jun, 2024
本文解决了在大型语言模型中去除嵌入特洛伊木马的影响这一问题。我们提出了一种新颖的去学习方法LYA,结合了梯度上升和基于费舍尔信息矩阵的正则化技术,与传统方法相比,LYA在消除模型中特洛伊木马的影响方面表现更佳,同时保持了模型的原始功能。这是首个比较自然语言和编码领域特洛伊木马的机器去学习的研究。
Aug, 2024