对 OCR 系统的欺骗:使用对抗文本图像
提出一种基于水印攻击的自然失真对抗生成模型,以应对深度神经网络在光学字符识别中容易受到对抗样本攻击的问题。实验结果表明,水印攻击方法可以生成带有自然水印的对抗样本,并在不同攻击情景下取得类似于现有最先进方法的攻击效果。
Feb, 2020
提出一种光学字符识别 OCR 后门攻击,通过插入非可读字符的恶意输入图像,使 OCR 模型在某些实例中输出非可读字符,同时不影响其在其他实例中的性能。
Oct, 2023
本文探讨了基于文字的机器学习模型对视觉输入的抵抗力,并表明他们仍然容易受到以文本编码的视觉对抗性示例的攻击,使用 Unicode 功能组合变音符号来操纵编码文本,演示使用遗传算法生成黑盒威胁视觉对抗性示例的效力,并进行用户研究以证明这些模型欺骗性示例不会影响人类理解。最后,通过制造针对 Facebook,Microsoft,IBM 和 Google 发布的生产模型的对抗性示例,展示了这些攻击的实际效果。
Jun, 2023
本文介绍了一种有效的方法来生成文本对抗样本,证明了基于深度神经网络的文本分类器同样容易受到对抗样本的攻击。通过计算代价梯度或者生成一系列遮盖测试样本,可以识别用于分类的文本信息,基于这些信息,设计了三种扰动策略(插入、修改、删除)来生成对抗样本。实验表明,基于我们方法生成的对抗样本可以成功欺骗基于字符和词语所的 DNN 文本分类器,并且可以扰动到任意的分类类别而不影响其实用性,同时所引入的扰动难以被发现。
Apr, 2017
本文提出一种无分割 OCR 系统,该系统将深度学习方法、数据增强方法和合成训练数据结合起来,使用大型文本语料库和 2000 多种字体渲染合成训练数据,并通过几何失真和提出的 alpha-compositing 数据增强技术模拟复杂的自然环境,并采用 CNN 编码器以提取文本图像特征,检验了序列模型与卷积模型在模拟输入元素交互方面的能力。
Jun, 2019
在本文中,我们提出了一个针对更广泛的对抗性攻击类别的框架,旨在对机器生成的内容进行微小扰动以逃避检测,通过对动态场景中的对抗性学习来评估当前检测模型对这种攻击的鲁棒性的潜力提升。实证结果发现,现有的检测模型可以在仅 10 秒内受到破坏,将机器生成的文本误分类为人类撰写的内容。尽管观察到模型鲁棒性方面的一些改进,但实际应用仍面临重大挑战,这些发现为 AI 文本检测器的未来发展提供了启示,强调了对更准确和鲁棒的检测方法的需求。
Apr, 2024
本研究提出了一种基于 Fast Adversarial Watermark Attack (FAWA) 的白盒序列 OCR 模型的攻击方法,该方法将扰动伪装成水印,使得生成的对抗性图像能够对人眼呈现自然外观,并且能够实现 100% 的攻击成功率。在字母和单词级别的攻击中,实验结果表明,与现有攻击方法相比,FAWA 的扰动量少 60%,迭代次数少 78%。此外,FAWA 还支持全彩色水印、其他语言以及 OCR 准确性改善机制。
Dec, 2020
本文提出了一种自适应攻击(Adaptive Attack)的方法,利用每个任务的不确定性,直接学习自适应多任务的加权方法,以加速来自序列学习任务的对抗攻击方法,并获得了很好的成功率和速度提升,实现了针对场景文本识别的对抗攻击。
Jul, 2018
该研究主要关注基于神经网络算法的分类器受到对抗性图像攻击的问题,研究了在实际生产环境下分类器遭到对抗性攻击的可能性,并提供了一个验证生产等级交通标志的对抗性攻击的流程。
Jun, 2019
本文提出了一种对抗性噪声网络攻击方法,有效地误导了深度神经网络,同时也改变了网络决策的解释算法,并引入一种控制条件测试神经网络解释算法准确性的方法,以促进更健壮的神经网络解释工具发展。
Dec, 2018