Aug, 2023

DTrOCR：解码器专用的 Transformer 用于光学字符识别

PDF
TL;DR通过使用 Decoder-only Transformer 作为生成式语言模型，本研究提出了一种相对简单而有效的文本识别方法 DTrOCR，实验结果表明 DTrOCR 在识别印刷、手写和场景文本方面比当前的最先进方法表现出更好的性能。
text recognitionencoder-decoder structuredecoder-only transformeroptical character recognitiongenerative language model
发现论文，激发创造
  • TrOCR: 基于 Transformer 的带预训练模型的光学字符识别

    本文提出了一种名为 TrOCR 的端到端文本识别方法，其中使用了预训练的图像 Transformer 和文本 Transformer 模型，不仅适用于印刷体和手写体，还适用于场景文本识别任务，并在准确率方面优于当前最先进的模型。

    Sep, 2021

  • DLoRA-TrOCR：基于 Transformer 的混合文本模式光学字符识别

    本研究旨在通过对预训练基础 OCR 模型进行有效的参数微调，在各种下游任务中展示出卓越的性能。我们提出了一种基于预训练 OCR Transformer 的参数高效混合文本识别方法，即 DLoRA-TrOCR。该方法将 DoRA 嵌入图像编码器和 LoRA 嵌入文本解码器的内部结构，使得下游任务的参数微调更加高效。实验结果表明，与类似的参数调整方法相比，我们的模型 DLoRA-TrOCR 具有最少的参数，并且表现更好。它可以在包括混合手写、印刷和街景文本的复杂场景数据集上取得最先进的性能。

    Apr, 2024

  • 扩展 TrOCR 实现全页扫描收据图像的文本免定位 OCR

    本研究提出了一个基于 Transformer 的 OCR 模型，用于提取收据图像中的字符序列，无需定位文本。该模型能够在不需要额外处理的情况下，将整个收据图像中的字符识别准确，并按阅读顺序排列。

    Dec, 2022

  • 基于 Transformer 的历史文献手写识别

    本文 比较了 TrOCR 框架和 SOTA HTR 框架（Transkribus） 用于 对历史手稿的识别，发现 TrOCR 表示出类似或更好的性能且少量训练即可在英语以外的其他基于拉丁字母的语种上进行迁移学习。

    Mar, 2022

  • 尼泊尔语和孟加拉语的光学文本识别：基于 Transformer 的方法

    该研究使用编码器 - 解码器转换器针对 OCR 系统的研究和发展，以低资源语言（如孟加拉语和尼泊尔语）为例，通过对手写和打印的光学文本图像的集合进行评估，结果表明该技术与当前方法相符，并在孟加拉语和尼泊尔语的文本识别中取得了高精度，从而为东南亚地区的语言学研究打开了先机。

    Apr, 2024

  • 一种基于 Transformer 模型的端到端 OCR 框架，用于识别具有变音符的大规模古典阿拉伯文多字体语料库的手写体 Arabic 识别

    本文介绍了针对阿拉伯历史文献的光学字符识别技术的研究，提出了一种端到端文本识别方法 BEIT，并通过实验比较证明，该方法优于卷积神经网络的特征提取方法，达到了 4.46% 的识别准确率。

    Aug, 2022

  • TransDocs：基于光学字符识别和逐字翻译的翻译工具

    本研究旨在提高 OCR 质量，通过使用 LSTM 技术集成 OCR 与深度学习模型进行文档翻译，并在英语到西班牙语翻译中显示了深度学习模型的比较研究，将终端到终端的性能用 BLEU-4 评分表达，旨在让研究人员和 OCR 应用于文档翻译的实践者感兴趣。

    Apr, 2023

  • 使用 Transformer 进行端到端的目标检测

    该研究提出了一种新方法，将目标检测作为直接集合预测问题进行处理，主要采用基于集合的全局损失和 Transformer 编码器 - 解码器架构构建 DETR 模型，能够高效地完成目标检测和全景分割任务，相较于许多现代检测器，DETR 模型概念简单且不需要专门的库。

    May, 2020

  • 基于 Transformer 的光学字符识别对抗攻击的脆弱性分析

    基于 Transformer 的 OCR 模型的韧性评估表明，非定向攻击对其高度脆弱，而定向攻击相对较弱；在基准手写数据集上，非定向攻击几乎无法察觉，造成字符错误率超过 1；而具有类似扰动大小的定向攻击可以以大约 25％的成功率攻击单个标记，要求 TrOCR 从大词汇中输出第十个最可能的标记。

    Nov, 2023

  • LOCR：基于位置引导的光学字符识别 Transformer

    教育文档的光学字符识别 (OCR) 模型 LOCR，通过在自回归过程中将位置引导集成到变压器架构中，有效地解决了复杂布局文档中的重复问题，提高了准确性，同时还提供了交互式 OCR 模式。

    Mar, 2024