Sep, 2021

TrOCR: 基于 Transformer 的带预训练模型的光学字符识别

PDF
TL;DR本文提出了一种名为 TrOCR 的端到端文本识别方法，其中使用了预训练的图像 Transformer 和文本 Transformer 模型，不仅适用于印刷体和手写体，还适用于场景文本识别任务，并在准确率方面优于当前最先进的模型。
发现论文，激发创造
  • DTrOCR：解码器专用的 Transformer 用于光学字符识别

    通过使用 Decoder-only Transformer 作为生成式语言模型，本研究提出了一种相对简单而有效的文本识别方法 DTrOCR，实验结果表明 DTrOCR 在识别印刷、手写和场景文本方面比当前的最先进方法表现出更好的性能。

    Aug, 2023

  • DLoRA-TrOCR：基于 Transformer 的混合文本模式光学字符识别

    本研究旨在通过对预训练基础 OCR 模型进行有效的参数微调，在各种下游任务中展示出卓越的性能。我们提出了一种基于预训练 OCR Transformer 的参数高效混合文本识别方法，即 DLoRA-TrOCR。该方法将 DoRA 嵌入图像编码器和 LoRA 嵌入文本解码器的内部结构，使得下游任务的参数微调更加高效。实验结果表明，与类似的参数调整方法相比，我们的模型 DLoRA-TrOCR 具有最少的参数，并且表现更好。它可以在包括混合手写、印刷和街景文本的复杂场景数据集上取得最先进的性能。

    Apr, 2024

  • TransDocs：基于光学字符识别和逐字翻译的翻译工具

    本研究旨在提高 OCR 质量，通过使用 LSTM 技术集成 OCR 与深度学习模型进行文档翻译，并在英语到西班牙语翻译中显示了深度学习模型的比较研究，将终端到终端的性能用 BLEU-4 评分表达，旨在让研究人员和 OCR 应用于文档翻译的实践者感兴趣。

    Apr, 2023

  • 扩展 TrOCR 实现全页扫描收据图像的文本免定位 OCR

    本研究提出了一个基于 Transformer 的 OCR 模型，用于提取收据图像中的字符序列，无需定位文本。该模型能够在不需要额外处理的情况下，将整个收据图像中的字符识别准确，并按阅读顺序排列。

    Dec, 2022

  • 基于 Transformer 的历史文献手写识别

    本文 比较了 TrOCR 框架和 SOTA HTR 框架（Transkribus） 用于 对历史手稿的识别，发现 TrOCR 表示出类似或更好的性能且少量训练即可在英语以外的其他基于拉丁字母的语种上进行迁移学习。

    Mar, 2022

  • 面向任意形状场景文本的大规模端到端推理

    本文利用收集在 TextVQA 数据集的真实图像上的 900K 个文本单词，提出了任意形状的场景文本​​检测和识别系统 TextOCR，使用该系统训练的 OCR 模型 PixelM4C 在图像上进行场景文本​​推理，以达到新的 TextVQA 数据集上的最新性能水平。

    May, 2021

  • 一种基于 Transformer 模型的端到端 OCR 框架，用于识别具有变音符的大规模古典阿拉伯文多字体语料库的手写体 Arabic 识别

    本文介绍了针对阿拉伯历史文献的光学字符识别技术的研究，提出了一种端到端文本识别方法 BEIT，并通过实验比较证明，该方法优于卷积神经网络的特征提取方法，达到了 4.46% 的识别准确率。

    Aug, 2022

  • 使用卷积神经网络的手写体识别

    通过使用 NIST 数据集对卷积神经网络进行训练并提取图像特征，成功实现了 90.54% 的识别准确率和 2.53% 的损失，该技术可以对手写和印刷文本进行 OCR 和 ICR 的处理。

    Jul, 2023

  • 使用多层感知器识别文本图像

    该篇论文介绍了如何应用神经网络和反向传播算法实现光学字符识别（OCR）并转换为可编辑机器可读的数字文本格式。

    Dec, 2016

  • 深度学习技术实现高效无词典 OCR

    本文提出一种无分割 OCR 系统，该系统将深度学习方法、数据增强方法和合成训练数据结合起来，使用大型文本语料库和 2000 多种字体渲染合成训练数据，并通过几何失真和提出的 alpha-compositing 数据增强技术模拟复杂的自然环境，并采用 CNN 编码器以提取文本图像特征，检验了序列模型与卷积模型在模拟输入元素交互方面的能力。

    Jun, 2019