ICCVSep, 2023

使用经过预训练的类 CLIP 模型通过图像 ID 同步的中文文本识别

PDF
TL;DR我们提出了一个受人类认知中文文本方式启发的两阶段框架，通过对齐印刷字符图像和表意描述序列（IDS）来预训练一个类似 CLIP 的模型，从而改进传统的单字符识别到文本行识别，并在两种基准测试中证明了该方法的有效性，特别是在零样本中文字符识别方面表现出色。
chinese text recognitionclip-like modelzero-shot chinese characterstext-line recognitionbenchmark
发现论文，激发创造
  • 中文 CLIP：中文对比视觉 - 语言预训练

    该研究使用中文数据构建巨大的图像文本配对数据集，并使用其预训练中文 CLIP 模型，该模型能够在零 - shot 学习和微调设置下，在 MUGE、Flickr30K-CN 和 COCO-CN 上实现最新技术水平，并能够在 ELEVATER 基准测试中实现竞争性能。

    Nov, 2022

  • 自然场景下的中文识别

    介绍一个街景图中的大规模中文文本数据集，该数据集包含超过 30,000 张街景图中的大约 1 百万个中文字符，同时提供基准结果使用 AlexNet，OverFeat，Google Inception 和 ResNet 进行字符识别，使用 YOLOv2 进行字符检测。

    Feb, 2018

  • 基准测试中文文本识别：数据集，基线和实证研究

    本文填补了中文文本识别领域的数据集缺失和统一的评测标准，提出了搜集四大类中文文本数据集的方法，为各类应用场景提供基准，并探究了基于偏旁部首的辅助方法对中文识别性能的提升。

    Dec, 2021

  • 手写汉字文本分割识别：一种无需分段注释的方法

    提出一种基于分割的方法以识别手写中文文本，使用简单而有效的完全卷积网络实现。使用一种新颖的弱监督学习方法，只需使用交录注释即可训练网络；无需先前分割方法所需的昂贵字符分割标注。因为完全卷积网络缺乏上下文建模，所以提出了一种上下文规则化方法将上下文信息纳入训练，进一步提高了识别性能。在四个广泛使用的基准测试上进行了广泛实验，即 CASIA-HWDB，CASIA-OLHWDB，ICDAR2013 和 SCUT-HCCDoc，结果表明我们的方法在在线和离线 HCTR 上都显著优于现有方法，并且比 CTC / 基于注意力的方法具有更高的推断速度。

    Jul, 2022

  • 场景图像中的无方向中文文本识别

    利用字符图像重建网络（CIRN）对纵向中文文本进行识别，通过分离内容和方向信息，提高自然场景中横向和纵向文本的识别性能。

    Sep, 2023

  • 使用滑动卷积字符模型识别场景文本

    本文提出了一种基于卷积特征映射中的字符模型的场景文本识别方法，可以避免基于分割的识别方法中的字符分割困难，并且可以识别未知单词，与现有方法相比具有相对较小的模型大小和优秀的性能表现。

    Sep, 2017

  • 离线手写中文文本识别与卷积神经网络

    本文研究基于深度学习的方法在离线手写中文文本识别领域的应用，使用只有卷积神经网络的模型和 CTC 损失函数实现，采用 Dropout 方法以防止过拟合，最终在 ICDAR 2013 竞赛数据集上实现了 6.81% 的字符错误率，为同等条件下最好的研究结果。

    Jun, 2020

  • 将 CLIP 模型转化为场景文字检测器

    该研究提出了一种名为 TCM 的新方法，通过直接应用 CLIP 模型来进行文本检测，而不需要预先培训过程。实验证明该方法有助于现有场景文本检测方法的少样本学习能力，并且具有良好的领域自适应能力。

    Feb, 2023

  • RegionCLIP: 基于区域的语言 - 图像预训练

    RegionCLIP 是一种新的方法，扩展了 CLIP 模型的范围，使其可以学习区域级别的视觉表征，从而实现图像区域和文本概念之间的细粒度对齐，进而在目标检测领域表现出良好的性能。

    Dec, 2021

  • 基于 CNN 的带有合成数据引擎的场景中文文本识别算法

    本文提出了一种基于卷积神经网络的中文文本识别算法，并设计了一种合成数据引擎，用于生成代表性的中文场景字符图像来扩大数据集。通过对中文文本识别 CNN 架构进行修改，本算法在两个中文文本数据集上得到了更好的识别精度为基准方法。

    Apr, 2016