你相信你的模型吗？深度学习生态系统中的新兴恶意软件威胁

Mar, 2024

你相信你的模型吗？深度学习生态系统中的新兴恶意软件威胁

Do You Trust Your Model? Emerging Malware Threats in the Deep Learning Ecosystem

Dorjan Hitaj, Giulio Pagnotta, Fabio De Gaspari, Sediola Ruko, Briland Hitaj...

TL;DR本研究论文旨在提高对使用预训练模型时面临的新型机器学习供应链威胁的意识。我们介绍了 MaleficNet 2.0，这是一种在神经网络中嵌入自解压、自执行恶意软件的新技术。MaleficNet 2.0 利用扩频信道编码和纠错技术，将恶意载荷注入深度神经网络的参数中。该注入技术隐蔽且不降低模型性能，对去除技术具有鲁棒性。我们的方法旨在适用于传统和分布式学习环境，如联邦学习，并证明了在模型参数使用较少比特时仍具有效性。最后，我们利用 MaleficNet 2.0 实现了一个概念验证的自解压神经网络恶意软件，展示了该攻击对广泛采用的机器学习框架的实用性。我们希望通过这项工作提高学术界和工业界对这些新型危险攻击的意识，并鼓励进一步研究以应对此类威胁。

Abstract

Training high-quality deep learning models is a challenging task due to computational and technical requirements. A growing number of individuals, institutions, and companies increasingly rely on pre-trained, third-party models made available in public repositories. These models are of

deep learning models pre-trained models machine learning supply chain threat maleficnet 2.0 neural network malware

发现论文，激发创造

恶意模型 2.0：将神经网络模型引入恶意软件攻击

我们提出了一种改进的 stegomalware EvilModel，通过分析神经网络模型的构成，提出了三种将恶意软件嵌入模型的新方法：MSB 保留，快速替换和半替换，可以嵌入占模型容量一半的恶意软件而不影响模型的性能。我们还设计了一种触发器并提出了有针对性的攻击威胁场景，并通过实验和分析嵌入容量，性能影响和检测逃避来证明该方法的实用性和有效性。

Sep, 2021

EvilModel：将恶意软件隐藏在神经网络模型内

本文提出了一种新的利用神经网络模型来隐蔽地传递恶意软件的方法，通过将恶意软件嵌入神经元，使得恶意软件可以在不影响神经网络性能的情况下进行传递，同时再无需担心被杀毒软件检测到，实验结果验证了该方法的可行性，这种方法利用人工智能的广泛应用，成为了攻击的一个发展趋势。

Jul, 2021

BadNets: 识别机器学习模型供应链中的漏洞

本文探讨了基于深度学习的技术在云端上进行外包培训时所带来的安全风险，提出了恶意训练网络的概念（即 BadNet），并阐述了在实际情景中 BadNet 的行为，讨论了神经网络中后门的研究难点和验证技术的发展。

Aug, 2017

深度神经网络中特洛伊攻击的表面简单方法

本文提出了一种新的训练免费的攻击方法，使用一个小的特洛伊模块（TrojanNet）将恶意特征插入目标模型，该模型通过特殊标记对输入进行标记，并将所有标签注入特洛伊，攻击成功率达到 100％，且不会影响模型在原始任务上的准确性。

Jun, 2020

对抗性恶意二进制文件：规避可执行文件中的深度学习恶意软件检测

本文通过对恶意软件检测方法的深度学习进行的攻击实验证明，机器学习以及深度神经网络存在易受攻击的漏洞，并提出基于梯度的攻击方法，可以使恶意软件逃脱检测而不影响其入侵功能。

Mar, 2018

恶意软件变身：通过修改可执行代码字节破坏基于机器学习的静态分析

该论文介绍了一种通过二进制多样性技术和优化框架欺骗深度神经网络的攻击方式来打破基于机器学习的恶意软件检测系统，攻击成功率可达 100%，但该论文也探索了一些能够使攻击失败的防御手段。

Dec, 2019

具有对抗鲁棒性的深度神经网络及其在恶意软件检测中的应用

提出了一种新的对抗样本解决方案，该方案通过随机破坏样本中的特征，阻止攻击者构建有影响力的对抗样本，从而显著提高深度神经网络对抗样本的鲁棒性，同时保持高分类准确性。

Oct, 2016

基于深度神经网络的二维二进制程序特征恶意软件检测

本文介绍了一种基于深度神经网络的恶意软件分类器，可以在商品硬件上处理实际金融企业数据达到 95% 的检测率和 0.1% 的误报率。

Aug, 2015

深度学习系统的模型重用攻击

本文展示了恶意原始模型对机器学习系统的安全性带来的巨大威胁，并提供了有效、难以检测和易于实现的攻击方法，同时探讨了相应的潜在对策，给出了若干有前途的研究方向。

Dec, 2018

使用对抗样本欺骗端对端深度学习恶意软件检测器

文章介绍了一种针对离散输入数据生成对抗性样本的新型损失函数，该方法被应用于卷积神经网络用于恶意软件检测中，可以成功地将生成的有效载荷插入二进制文件中，使其被检测为良性，并保留原始功能。

Feb, 2018