隐形威胁:OCR 系统中的后门攻击
本文研究表明,在深度学习的光学字符识别(OCR)技术中,存在对抗性图像漏洞,通过对印刷文字进行轻微修改来替换特定词汇的语义对立体,可以误导 OCR 识别出不正确的文字信息,进而影响 NLP 预处理其输入的应用。
Feb, 2018
提出一种基于水印攻击的自然失真对抗生成模型,以应对深度神经网络在光学字符识别中容易受到对抗样本攻击的问题。实验结果表明,水印攻击方法可以生成带有自然水印的对抗样本,并在不同攻击情景下取得类似于现有最先进方法的攻击效果。
Feb, 2020
本研究发现在使用第三方资源训练深度神经网络时容易出现后门威胁,尤其对目标检测等关键应用程序造成威胁。通过无目标特点的简单而有效的毒药后门攻击,我们成功地将后门嵌入目标模型,这可以使模型无法检测到任何与我们的触发模式带有标记的物体。我们在基准数据集上进行了广泛的实验,表明这种方法在数字和现实世界的应用都非常有效,并且对潜在防御手段具有抵御力。
Nov, 2022
在该研究中,我们提出了一种有效的基于掩码的不可见后门攻击目标检测技术,并针对目标消失、目标错误分类和目标生成三种攻击场景进行了全面的实验,以确定有效的防御方法。
Mar, 2024
通过对深度学习物体检测算法进行攻击,我们提出了一种简单而有效的后门攻击方法,特别针对物体消失攻击和物体生成攻击,实验证明我们的攻击方法在两个基准物体检测数据集上的攻击成功率超过 92%,而污染率仅为 5%。
Jul, 2023
提出了一种新颖的后门攻击方法,通过使用预训练的受害模型从干净图像中提取低级和高级语义特征,并基于通道注意力生成与高级特征相关联的触发模式,然后使用编码器模型生成受污染的图像,同时维持对后门防御的鲁棒性,实验结果表明,该攻击方法在三个知名图像分类深度神经网络上取得了高攻击成功率,同时具有很好的隐秘性。
May, 2024
研究人员提出了一种新的方法,通过破坏模型训练代码中的损失值计算来注入后门,用于展示比以前文献中更强大的后门类型,包括单像素和物理后门以及能将模型转换为隐蔽,侵犯隐私任务的后门,同时无需修改推理时输入。攻击是盲目的:攻击者无法修改训练数据,也无法观察他的代码执行,也无法访问生成的模型。攻击代码在模型训练过程中即时生成受污染的训练输入,并使用多目标优化技术来实现对主任务和后门任务的高准确性。研究人员还提出了如何规避任何已知防御措施的盲目攻击,并提出了新的防御措施。
May, 2020
基于 Transformer 的 OCR 模型的韧性评估表明,非定向攻击对其高度脆弱,而定向攻击相对较弱;在基准手写数据集上,非定向攻击几乎无法察觉,造成字符错误率超过 1;而具有类似扰动大小的定向攻击可以以大约 25%的成功率攻击单个标记,要求 TrOCR 从大词汇中输出第十个最可能的标记。
Nov, 2023
提出了一种鲁棒性和隐秘性很高的后门攻击方法 ——“毒墨水”。该方法利用图像结构作为目标污染区域,并将其填充信息来生成触发模式,使用深度注入网络将其嵌入到封面图像中,这种触发模式天然具有抵御数据转换的鲁棒性。经过广泛实验,我们证明了 “毒墨水” 不仅适用于不同的数据集和网络架构,而且对许多最先进的防御技术具有非常强的抵抗力。
Aug, 2021
本文提出了一种优化反向工程方法,通过检测、鉴定和逆向工程带有后门模式的图像,以在训练过程中防御起源类上的各种对抗攻击,以达到 CIFAR-10 中新的最佳性能。
Oct, 2020