May, 2023

遮盖和置乱隐式上下文学习用于场景文本识别

PDF
TL;DR本文提出了一种利用语言信息来增强场景文本识别模型鲁棒性的方法，通过将 Masked Language Modeling (MLM) 和 Permuted Language Modeling (PLM) 结合到一个单一解码体系结构中，引入特定数量的掩码标记来集成 MLM，实验结果表明，该模型在标准基准测试中使用 AR 和 NAR 解码程序均获得了最先进的性能。
scene text recognitionlinguistic informationmasked and permuted implicit context learning networkar and nar decodingstate-of-the-art performance
发现论文，激发创造
  • 使用置换自回归序列模型的场景文本识别

    PARSeq 使用 Permutation Language Modeling 学习了一组共享权重的内部 AR 语言模型的集合，实现了无上下文的非 AR 和有上下文的 AR 推理以及使用双向上下文的迭代细化，使用注意力机制进行文本识别，取得了在 STR 基准测试中的最新成果，并在一些具有挑战性的数据集上建立了新的 SOTA 结果。

    Jul, 2022

  • 多模态上下文学习使自适应场景文本识别器

    Scene text recognition (STR) in the wild faces challenges due to domain variations, font diversity, shape deformations, etc. Recent studies show that large language models (LLMs) can learn from a few demonstration examples using In-Context Learning (ICL). However, applying LLMs as a text recognizer is resource-consuming. To address this, the paper introduces E$^2$STR, a STR model trained with context-rich scene text sequences, demonstrating effective ICL capabilities with a regular-sized model and outperforming fine-tuned approaches.

    Nov, 2023

  • 场景文本识别的上下文感知并行解码器

    场景文本识别方法一直在追求高准确率和快速推断速度。本文通过经验研究发现，自回归解码在提供视觉上下文感知方面比语言建模更有效。因此，提出了上下文感知并行解码器（CPPD），它在单次解码中构建了一个稳健的上下文，使得其准确率和推断速度较传统方法显著提高。

    Jul, 2023

  • 上下文扭曲揭示组成结构：遮蔽语言模型为隐含的解析器

    本文提出了一种新的基于上下文表示扰动评分的图表法提取已屏蔽语言模型中的句法树的方法，此方法在英语和八种语言的数据集上均表现出优异性能，能替代无监督语法分析方法。

    Jun, 2023

  • AMOM: 条件掩码语言模型的自适应掩码

    本文介绍了一种简单而有效的自适应遮盖策略，用于增强解码器的细化能力和简化编码器优化，证明该方法在多任务序列生成中超越了强大的 CMLM 模型，在机器翻译任务中获得了最先进的性能，并在至少 2.2 倍的加速下比 AR Transformer 实现了更好的性能。

    Mar, 2023

  • 视觉语义提高了场景文本识别中的文本推理水平

    该研究提出了一种基于图卷积网络的文本推理（GTR）方法并将其应用于场景文本识别中，该方法可以利用像素之间的空间关联来提高文本识别的性能，并在六个具有挑战性的基准测试中获得最新的最佳结果。

    Dec, 2021

  • 半监督文本识别的连续视觉和语义一致性

    本文提出了一种新的半监督学习方法来进行场景文本识别（STR），该方法从视觉和语义两个方面融合了单词级一致性正则化，通过使用最短路径对齐模块以及采用强化学习框架来优化嵌入空间中预测字符串的语义相似性，实验结果表明该方法在多个标准和具有挑战性的 STR 基准测试中优于现有的半监督 STR 方法。

    Feb, 2024

  • 场景文本识别的关系对比学习

    通过处理上下文信息和文本关系，研究论文提出一种名为 RCLSTR 的统一框架，用于景观文本识别的关联对比学习，该框架通过重新排列、层次和交互来丰富文本关系，解决了上下文信息限制和过拟合问题，提高了表示鲁棒性。实验结果证明了该方法在表示质量上优于最先进的自监督 STR 方法。

    Aug, 2023

  • 将场景文本识别器的性能极限推至无需人工注释

    本文介绍了一种利用合成数据和大量真实未标记图像的半监督框架来提高场景文本识别模型性能的方法。该框架基于鲁棒的一致性正则化，有效地解决了合成和真实图像之间的域不一致性问题，并在多项实验中显示出稳定性和准确性，同时提高了场景文本识别模型达到了最新的最优结果，是首个成功应用一致性正则化框架于场景文本识别的方法。

    Apr, 2022

  • CLIP4STR: 使用预训练视觉语言模型的场景文本识别的简单基线

    介绍了 CLIP4STR，一种基于 CLIP 的简单而有效的场景文字识别方法，通过图像和文本编码器构建，具有双预测和精炼解码机制。实验表明，该方法在 11 个 STR 基准测试中达到了最新的最佳性能。

    May, 2023