IJCAIJul, 2024

聚焦于整个字符：场景文本识别的辨别性字符建模

PDF
TL;DR通过引入 Character-Aware Constraint Encoder (CACE) 和 Intra-Inter Consistency Loss (I^2CL) 的方法，本研究提出了一种新颖的方法来增强字符的可区分性，提升了场景文本识别模型的性能。
scene text recognitionchallenging textsintra-class varianceinter-class variancecharacter features
发现论文，激发创造
  • 多模态上下文学习使自适应场景文本识别器

    Scene text recognition (STR) in the wild faces challenges due to domain variations, font diversity, shape deformations, etc. Recent studies show that large language models (LLMs) can learn from a few demonstration examples using In-Context Learning (ICL). However, applying LLMs as a text recognizer is resource-consuming. To address this, the paper introduces E$^2$STR, a STR model trained with context-rich scene text sequences, demonstrating effective ICL capabilities with a regular-sized model and outperforming fine-tuned approaches.

    Nov, 2023

  • 文本检测的字符区域认知

    提出了一种使用神经网络 2 来检测场景文本的新方法，在字符级别推断文本区域，采用新的关联表示法来估算字符背景。通过使用合成图像的给定字符级别注释和学习的中间模型获得的真实图像的估计字符级别地面真实性，也解决了缺少单独字符级别注释的问题，在 6 个基准测试上广泛的实验中，包括在自然图像中包含高度曲线文本，如 TotalText 和 CTW-1500 数据集，证明了我们的字符级文本检测比最先进的探测器显着优越。根据结果，我们的方法保证了在检测复杂的场景文本图像（如任意定向，曲线或变形文本）方面具有高度的灵活性。

    Apr, 2019

  • 针对面向字符级别长尾分布的场景文本识别改进

    本研究提出了一种基于上下文感知模型和自由专家网络的场景文字识别系统，对字数众多的中国和韩国等语言的字符识别性能有较大提升，并且易于应用于各种场景文字识别模型。

    Mar, 2023

  • 使用滑动卷积字符模型识别场景文本

    本文提出了一种基于卷积特征映射中的字符模型的场景文本识别方法，可以避免基于分割的识别方法中的字符分割困难，并且可以识别未知单词，与现有方法相比具有相对较小的模型大小和优秀的性能表现。

    Sep, 2017

  • SEED: 场景文本识别的加强语义编码器 - 解码器框架

    本研究提出了一种基于编码器 - 解码器框架的语义增强模型来识别低质量的场景文本，它使用显式的全局语义信息，并将现有的 ASTER 方法作为示例，实验证明了该模型对低质量文本图像更加鲁棒，并在多个基准数据集上取得了最先进的结果。

    May, 2020

  • 从二维视角进行场景文本识别

    采用二维视角，提出了基于字符注意力全卷积网络的场景文本识别算法，该算法在语义分割网络中采用了字符注意机制和词形成模块，在不失精度的情况下更具有鲁棒性。

    Sep, 2018

  • CDistNet: 感知多域字符距离以增强文本识别鲁棒性

    本文提出了一种名为 MDCDP 的模块，通过引入注意机制，利用位置编码查询视觉和语义特征，融合两种受约束特征以产生加强的特征，生成良好的内容感知嵌入，能够很好地感知字符之间的间距变化和语义亲和力。通过将多个 MDCDP 堆叠以引导逐渐准确的距离建模，成功构建了特征 - 字符对齐，解决了在文本识别中出现的各种困难问题。我们在两个增强数据集和六个公共基准上进行了实验，结果表明 CDistNet 在具有挑战性的识别场景中大幅优于最近的热门方法，也在标准基准上取得了最新的准确性。此外，可视化结果表明 CDistNet 在视觉和语义领域都实现了合适的信息利用。

    Nov, 2021

  • 基于字符的模型提升视觉文本渲染质量

    本研究探讨了影响当前图像生成模型难以可靠地生成良好文本图像的主要因素：流行的文本到图像模型缺乏字符级输入特征，这使得更难以预测一个单词的视觉构成为一系列字形。通过对比具有字符感知的与不具有字符感知的文本编码，我们在文本域内发现字符感知的模型在拼写任务上提供了巨大的收益。转化这些经验到图像领域，我们训练了一套图像生成模型，并表明在一系列的新文本渲染任务（我们的 DrawText 基准测试）上，字符感知的变体优于其字符盲的对手。尽管训练样本数量少得多，我们的模型在视觉拼写上设置了更高的最新水平，在罕见单词上比竞争对手多 30 多个点的准确率提升。

    Dec, 2022

  • 通过基于字形的解耦字符嵌入和语义子字符增强进行文本分类

    我们提出了一个用于字符文本分类的新框架，并在日语文本分类任务中验证模型性能提高，并通过提出的字符嵌入实现了模型的可解释性。

    Nov, 2020

  • 场景文本识别的 2D-CTC

    通过将 vanilla CTC 模型扩展到第二个维度，我们创建了 2D-CTC，它可以自适应地集中于最相关的特征，同时排除背景噪声的影响并处理具有各种形式的文本实例。在 IIIT-5K，ICDAR 2015，SVP-Perspective 和 CUTE80 等标准基准上的实验结果表明，所提出的 2D-CTC 模型在正常和不规则形状的文本上均优于现有技术，并且在训练和测试速度上表现出优越性。

    Jul, 2019