Nov, 2023

基于 Transformer 的光学字符识别对抗攻击的脆弱性分析

PDF
TL;DR基于 Transformer 的 OCR 模型的韧性评估表明，非定向攻击对其高度脆弱，而定向攻击相对较弱；在基准手写数据集上，非定向攻击几乎无法察觉，造成字符错误率超过 1；而具有类似扰动大小的定向攻击可以以大约 25％的成功率攻击单个标记，要求 TrOCR 从大词汇中输出第十个最可能的标记。
发现论文，激发创造
  • TrOCR: 基于 Transformer 的带预训练模型的光学字符识别

    本文提出了一种名为 TrOCR 的端到端文本识别方法，其中使用了预训练的图像 Transformer 和文本 Transformer 模型，不仅适用于印刷体和手写体，还适用于场景文本识别任务，并在准确率方面优于当前最先进的模型。

    Sep, 2021

  • 隐形威胁：OCR 系统中的后门攻击

    提出一种光学字符识别 OCR 后门攻击，通过插入非可读字符的恶意输入图像，使 OCR 模型在某些实例中输出非可读字符，同时不影响其在其他实例中的性能。

    Oct, 2023

  • 使用对抗性水印攻击光学字符识别（OCR）系统

    提出一种基于水印攻击的自然失真对抗生成模型，以应对深度神经网络在光学字符识别中容易受到对抗样本攻击的问题。实验结果表明，水印攻击方法可以生成带有自然水印的对抗样本，并在不同攻击情景下取得类似于现有最先进方法的攻击效果。

    Feb, 2020

  • 基于 Transformer 的对抗攻击在安全领域中的有效性

    评估了变压器对系统防御者的恶意样本的强健性以及对系统攻击者的对抗性样本的可迁移性，发现变压器所生成的对抗样本具有最高的可迁移率，对其他模型具有更强的对抗性，强调了研究在安全领域中使用变压器架构进行攻击和防御的重要性，并建议将其作为转移攻击设置中的主要架构。

    Oct, 2023

  • 一种基于 Transformer 模型的端到端 OCR 框架，用于识别具有变音符的大规模古典阿拉伯文多字体语料库的手写体 Arabic 识别

    本文介绍了针对阿拉伯历史文献的光学字符识别技术的研究，提出了一种端到端文本识别方法 BEIT，并通过实验比较证明，该方法优于卷积神经网络的特征提取方法，达到了 4.46% 的识别准确率。

    Aug, 2022

  • DTrOCR：解码器专用的 Transformer 用于光学字符识别

    通过使用 Decoder-only Transformer 作为生成式语言模型，本研究提出了一种相对简单而有效的文本识别方法 DTrOCR，实验结果表明 DTrOCR 在识别印刷、手写和场景文本方面比当前的最先进方法表现出更好的性能。

    Aug, 2023

  • 对 OCR 系统的欺骗：使用对抗文本图像

    本文研究表明，在深度学习的光学字符识别（OCR）技术中，存在对抗性图像漏洞，通过对印刷文字进行轻微修改来替换特定词汇的语义对立体，可以误导 OCR 识别出不正确的文字信息，进而影响 NLP 预处理其输入的应用。

    Feb, 2018

  • 基于 Transformer 的乌尔都文手写文字光学字符识别器

    本文介绍了使用 Transformer 来识别复杂的乌尔都手写文本的方法。

    Jun, 2022

  • DLoRA-TrOCR：基于 Transformer 的混合文本模式光学字符识别

    本研究旨在通过对预训练基础 OCR 模型进行有效的参数微调，在各种下游任务中展示出卓越的性能。我们提出了一种基于预训练 OCR Transformer 的参数高效混合文本识别方法，即 DLoRA-TrOCR。该方法将 DoRA 嵌入图像编码器和 LoRA 嵌入文本解码器的内部结构，使得下游任务的参数微调更加高效。实验结果表明，与类似的参数调整方法相比，我们的模型 DLoRA-TrOCR 具有最少的参数，并且表现更好。它可以在包括混合手写、印刷和街景文本的复杂场景数据集上取得最先进的性能。

    Apr, 2024

  • 基于 Transformer 的恶意软件检测器的对抗性攻击

    探究基于机器学习的恶意软件检测模型的安全性，使用 Transformers-based 恶意软件检测器进行对抗攻击，提出防御策略，将错误分类率降至一半。

    Oct, 2022